[论文解读] The Multi-modality Cell Segmentation Challenge: Towards Universal Solutions

Jun Ma, Ronald Xie+38 more|arXiv (Cornell University)|Aug 10, 2023

Cell Image Analysis Techniques参考文献 55被引用 15

一句话总结

本文提出了一个 NeurIPS 多模态细胞分割基准，并显示 Transformer 基于模型在对多样化显微镜图像的泛化能力上具有优越表现，提供公开的 Docker 化实现和 Napari 集成。

ABSTRACT

Cell segmentation is a critical step for quantitative single-cell analysis in microscopy images. Existing cell segmentation methods are often tailored to specific modalities or require manual interventions to specify hyper-parameters in different experimental settings. Here, we present a multi-modality cell segmentation benchmark, comprising over 1500 labeled images derived from more than 50 diverse biological experiments. The top participants developed a Transformer-based deep-learning algorithm that not only exceeds existing methods but can also be applied to diverse microscopy images across imaging platforms and tissue types without manual parameter adjustments. This benchmark and the improved algorithm offer promising avenues for more accurate and versatile cell analysis in microscopy imaging.

研究动机与目标

• 推动在不同显微镜模态下实现通用、自动化的细胞分割，无需手动调参。
• 提供跨多个成像平台和组织类型的大型多样化基准数据集。
• 评估通用算法并识别有效的体系结构和数据增强策略。
• 通过开源代码、Napari 集成和 Docker 容器促进可及性和可重复性。

提出的方法

• 组建一个多样化的训练集（1000 张带标签 + 1500 张未标签图像）以及一个 100 张的微调集和一个 422 张的保留测试集。
• 通过基于 Docker 的提交系统在标准化平台上评估算法，包含时延和准确度指标。
• 使用基于 Transformer 的架构（例如 SegFormer，带多尺度注意力）并具有多头输出的距离/语义图，以实现实例分割。
• 合并细胞记忆回放以在新数据微调时缓解灾难性忘记。
• 通过滑动窗口/补丁处理来实现高效推断，以处理整幅滑动图像。
• 提供开源代码和 Napari 集成，以便生物学家更容易实际采用。

实验结果

研究问题

• RQ1 单模型是否能够在不进行手动参数调优的情况下，跨亮场、荧光、相差以及 DIC 图像准确分割细胞？
• RQ2 Transformer 基础的架构是否在跨模态的通用细胞分割中比基于 CNN 的方法具有更好的泛化性？
• RQ3 哪些数据增强、预训练和记忆回放策略最能提升跨领域的泛化能力？
• RQ4 在通用分割设置中，模型的推理时间和内存占用与准确度之间的权衡如何？
• RQ5 在未见组织/细胞类型和整幅滑动图像上，表现最好的方法是否具备泛化性？

主要发现

• 前 3 名算法在保留集上的中位 F1 分数分别为 89.7%、84.4% 和 84.4%。
• 获胜方法 T1-osilab 在精度高、离群值较少且每个 1000×1000 图像推理时间约为 2 秒。
• 基于 Transformer 的模型在这个多样化基准上显著超越了现有的通用与 CNN 基方法。
• 细胞记忆回放有助于缓解在对 Cellpose 2.0 微调时观察到的灾难性忘记。
• 算法已公开提供，并具备 Napari 集成与 Docker 容器，便于实际使用。