[論文レビュー] A Foundation Model for Cell Segmentation

Uriah Israel, Markus Marks+12 more|arXiv (Cornell University)|Nov 18, 2023

Cell Image Analysis Techniques被引用数 7

ひとこと要約

本論文では、セル検出器であるCellFinderを用いた新しいプロンプト工学パイプラインを活用して、Segment Anything Model (SAM) を応用した細胞セグメンテーションのための基礎モデル、CellSAMを紹介する。このアプローチは、タスク固有の微調整を必要とせず、マウムリアン細胞、イースト、バクテリアなど多様な細胞画像分野で最先端の性能を達成し、ゼロショット一般化を実現するとともに、ヒューマンインザループラベル付けワークフローへの統合を可能にする。

ABSTRACT

Cells are the fundamental unit of biological organization, and identifying them in imaging data - cell segmentation - is a critical task for various cellular imaging experiments. While deep learning methods have led to substantial progress on this problem, models that have seen wide use are specialist models that work well for specific domains. Methods that have learned the general notion of "what is a cell" and can identify them across different domains of cellular imaging data have proven elusive. In this work, we present CellSAM, a foundation model for cell segmentation that generalizes across diverse cellular imaging data. CellSAM builds on top of the Segment Anything Model (SAM) by developing a prompt engineering approach to mask generation. We train an object detector, CellFinder, to automatically detect cells and prompt SAM to generate segmentations. We show that this approach allows a single model to achieve state-of-the-art performance for segmenting images of mammalian cells (in tissues and cell culture), yeast, and bacteria collected with various imaging modalities. To enable accessibility, we integrate CellSAM into DeepCell Label to further accelerate human-in-the-loop labeling strategies for cellular imaging data. A deployed version of CellSAM is available at https://label-dev.deepcell.org/.

研究の動機と目的

• 多様な細胞画像モalityおよび種にわたって優れた性能を発揮する汎用性の高い細胞セグメンテーションモデルの開発。
• ドメイン固有の設計およびハイパーパramータチューニングを必要とするスペシャリストモデルの限界の解消。
• 自動化された高精度な予測により、ヒューマンインザループアノテーションにおける細胞ラベリングの限界コストを低減。
• 生物学的文脈において「細胞とは何か」の一般表現を学習する細胞セグメンテーションのための基礎モデルの構築。
• 生物学的画像処理パイプラインへの実用的統合を目的とした、DeepCell Label におけるモデルのデプロイメント。

提案手法

• CellSAMは、入力画像内の細胞のバウンディングボックスを予測する、変更を加えたAnchor DETRオブジェクト検出器であるCellFinderを使用する。
• これらのバウンディングボックスが、Segment Anything Model (SAM) のプロンプトとして機能し、SAMのプロンプトベースマスクデコーダーを活用してセグメンテーションマスクを推論する。
• 3段階の推論閾値パイプラインを適用する：CellFinderの信頼度に0.4、SAMのIoU予測ヘッドに0.5、マスクロジットのシグモイド活性化に0.5。
• 後処理として、マスクの穴埋めと島の除去を実施し、個々の細胞マスクを精緻化する。これはSAMの標準的手順に従う。
• 自己教師あり事前学習を多様な細胞画像で実施し、その後、ラベル付きデータセットでの教師あり微調整を経て、エンドツーエンドでモデルを訓練する。
• フレームワークはDeepCell Labelにデプロイされ、ラベル付けをゼロから行うのではなく、モデルの予測を修正することで、迅速かつインタラクティブにラベリングが可能になる。

Figure 1: CellSAM: a foundational model for cell segmentation. CellSAMcombines SAM’s mask generation and labeling capabilities with an object detection model to achieve automated inference. Input images are divided into regularly sampled patches and passed through a transformer encoder (e.g., a ViT)

実験結果

リサーチクエスチョン

• RQ1 1つの基礎モデルが、マウムリアン組織、細胞培養、イースト、バクテリアを含む多様な細胞画像分野に一般化可能か。
• RQ2 検出器によって生成されたバウンディングボックスを用いたプロンプトベース推論は、ゼロショットプロンプトと比較して、セグメンテーション精度においてどのように異なるか。
• RQ3 基礎モデルが、ヒューマンインザループワークフローにおける細胞ラベリングの限界コストをどの程度低減できるか。
• RQ4 提案されたパイプラインは、複数の種と画像モダリティをカバーするベンチマークデータセットで最先端の性能を達成するか。
• RQ5 モデルは、ドメイン固有の適応を最小限に抑えて、実世界の生物学的画像処理パイプラインに効果的にデプロイ可能か。

主な発見

• CellSAMは、マウムリアン細胞、イースト、バクテリアをカバーする複数のベンチマークデータセットで最先端の性能を達成し、すべてのドメインでCellposeなどのスペシャリストモデルを上回っている。
• モデルは強力なゼロショット一般化を示し、新しいデータセットに対して微調整なしで高いF1スコアを達成しており、多様な画像モダリティにおいても性能が維持されている。
• CellSAM固有のバージョンとCellSAM汎用バージョンの両方が、すべての評価指標（再現率、適合率、F1）において、すべてのテストデータセットでベースラインモデルを上回っている。
• DeepCell Label へのCellSAMの統合により、より迅速かつ効率的なヒューマンインザループラベリングが可能となり、モデル予測の修正を加速することでラベリングコストが削減された。
• CellFinder検出器ではmAPが0.85、AP50が0.92を達成しており、プロンプト生成に不可欠な強力なオブジェクト検出性能が裏付けられている。
• 後処理ステップ（穴埋めと島の除去）は、マスク品質を顕著に向上させ、誤検出と断片的な予測を低減した。

Figure 2: CellSAM is a strong generalist model for cell segmentation. a) For training and evaluating CellSAM, we curated a diverse cell segmentation dataset from the literature. The number of annotated cells is given for each data type. Nuclear refers to a heterogeneous dataset (DSB) [ 51 ] containi