[论文解读] A Foundation Model for Cell Segmentation

Uriah Israel, Markus Marks+12 more|arXiv (Cornell University)|Nov 18, 2023

Cell Image Analysis Techniques被引用 7

一句话总结

本文提出了CellSAM，一种用于细胞分割的基础模型，通过结合Segment Anything Model（SAM）与一种新颖的提示工程流程（利用细胞检测器CellFinder生成准确的实例掩码），实现了在多种细胞成像领域（哺乳动物细胞、酵母和细菌）的最先进性能，且无需任务特定微调，支持零样本泛化，并可集成至人机协同标注工作流中。

ABSTRACT

Cells are the fundamental unit of biological organization, and identifying them in imaging data - cell segmentation - is a critical task for various cellular imaging experiments. While deep learning methods have led to substantial progress on this problem, models that have seen wide use are specialist models that work well for specific domains. Methods that have learned the general notion of "what is a cell" and can identify them across different domains of cellular imaging data have proven elusive. In this work, we present CellSAM, a foundation model for cell segmentation that generalizes across diverse cellular imaging data. CellSAM builds on top of the Segment Anything Model (SAM) by developing a prompt engineering approach to mask generation. We train an object detector, CellFinder, to automatically detect cells and prompt SAM to generate segmentations. We show that this approach allows a single model to achieve state-of-the-art performance for segmenting images of mammalian cells (in tissues and cell culture), yeast, and bacteria collected with various imaging modalities. To enable accessibility, we integrate CellSAM into DeepCell Label to further accelerate human-in-the-loop labeling strategies for cellular imaging data. A deployed version of CellSAM is available at https://label-dev.deepcell.org/.

研究动机与目标

• 开发一种可泛化的细胞分割模型，使其在多种细胞成像模态和物种中均表现良好。
• 解决专用模型需依赖领域特定设计与超参数调优的局限性。
• 通过自动化、高精度预测实现高效的人机协同标注，降低细胞标注的边际成本。
• 构建一种细胞分割的基础模型，学习在不同生物学背景下‘什么是细胞’的通用表征。
• 将模型集成至DeepCell Label中，实现在生物成像流程中的实际部署。

提出的方法

• CellSAM使用CellFinder（一种改进的Anchor DETR目标检测器）预测输入图像中细胞的边界框。
• 这些边界框被用作提示，通过Segment Anything Model（SAM）的提示式掩码解码器推断分割掩码。
• 应用三阶段推理阈值处理流程：CellFinder置信度阈值为0.4，SAM的IoU预测头阈值为0.5，掩码logits的Sigmoid激活阈值为0.5。
• 后处理包括孔洞填充和孤立岛移除，以优化单个细胞掩码，遵循SAM的标准流程。
• 模型通过在多样化细胞图像上进行自监督预训练，随后在标注数据集上进行有监督微调，实现端到端训练。
• 该框架已部署于DeepCell Label中，支持通过修正模型预测而非从零开始标注，实现快速、交互式的标注。

Figure 1: CellSAM: a foundational model for cell segmentation. CellSAMcombines SAM’s mask generation and labeling capabilities with an object detection model to achieve automated inference. Input images are divided into regularly sampled patches and passed through a transformer encoder (e.g., a ViT)

实验结果

研究问题

• RQ1 单一基础模型能否在包括哺乳动物组织、细胞培养物、酵母和细菌在内的多种细胞成像领域实现泛化？
• RQ2 使用检测器生成的边界框作为提示的推理方式，与零样本提示相比，在分割精度上表现如何？
• RQ3 基础模型在多大程度上能降低人机协同工作流中细胞标注的边际成本？
• RQ4 所提出的流程是否在涵盖多种物种和成像模态的基准数据集上实现了最先进性能？
• RQ5 该模型能否在无需大量领域特定适配的情况下，有效部署于现实世界中的生物成像流程？

主要发现

• CellSAM在涵盖哺乳动物细胞、酵母和细菌的多个基准数据集上达到最先进性能，优于所有专用模型（如Cellpose）在所有领域中的表现。
• 该模型展现出强大的零样本泛化能力，在新数据集上无需微调即可实现高F1分数，且在多种成像模态中性能保持稳定。
• 无论是CellSAM特定版本还是通用版本，均在所有评估指标（包括召回率、精确率和F1）上优于基线模型，覆盖所有测试数据集。
• 将CellSAM集成至DeepCell Label后，显著提升了人机协同标注的速度与效率，通过加速对模型预测的修正，降低了标注成本。
• CellFinder检测器在mAP为0.85、AP50为0.92，表明其在提示生成方面具备强大的目标检测性能。
• 后处理步骤（孔洞填充与孤立岛移除）显著提升了掩码质量，减少了假阳性和碎片化预测。

Figure 2: CellSAM is a strong generalist model for cell segmentation. a) For training and evaluating CellSAM, we curated a diverse cell segmentation dataset from the literature. The number of annotated cells is given for each data type. Nuclear refers to a heterogeneous dataset (DSB) [ 51 ] containi