[論文レビュー] Segment Any Cell: A SAM-based Auto-prompting Fine-tuning Framework for Nuclei Segmentation

Saiyang Na, Yuzhi Guo+3 more|arXiv (Cornell University)|Jan 24, 2024

Artificial Intelligence in Healthcare and Education被引用数 9

ひとこと要約

SACは Low-Rank Attention Adapter と自動プロンプト生成器を統合することで SAM を nuclei segmentation に対して強化し、MoNuSeg と DSB データセットで自動プロンプトを用いた最先端の結果を達成します。

ABSTRACT

In the rapidly evolving field of AI research, foundational models like BERT and GPT have significantly advanced language and vision tasks. The advent of pretrain-prompting models such as ChatGPT and Segmentation Anything Model (SAM) has further revolutionized image segmentation. However, their applications in specialized areas, particularly in nuclei segmentation within medical imaging, reveal a key challenge: the generation of high-quality, informative prompts is as crucial as applying state-of-the-art (SOTA) fine-tuning techniques on foundation models. To address this, we introduce Segment Any Cell (SAC), an innovative framework that enhances SAM specifically for nuclei segmentation. SAC integrates a Low-Rank Adaptation (LoRA) within the attention layer of the Transformer to improve the fine-tuning process, outperforming existing SOTA methods. It also introduces an innovative auto-prompt generator that produces effective prompts to guide segmentation, a critical factor in handling the complexities of nuclei segmentation in biomedical imaging. Our extensive experiments demonstrate the superiority of SAC in nuclei segmentation tasks, proving its effectiveness as a tool for pathologists and researchers. Our contributions include a novel prompt generation strategy, automated adaptability for diverse segmentation tasks, the innovative application of Low-Rank Attention Adaptation in SAM, and a versatile framework for semantic segmentation challenges.

研究の動機と目的

• SAMベースの手法におけるプロンプト品質のボトルネックに対処することで、核領域のセグメンテーションの改善を動機付ける。
• SAMのトランスフォーマーに適用するLoRAベースのファインチューニング機構を開発し、効率的な適応を図る。
• 核領域のセグメンテーションのための高品質な正・負のプロンプトを生成する自動プロンプト生成器を作成する。
• 自動プロンプティングが既存のファインチューニングおよび適応手法と互換性があることを示す。
• 核領域以外のセマンティックセグメンテーションタスクに対するSACの汎用性を示す。

提案手法

• SAMの ViT アテンション層内に Low-Rank Attention Adapter (LoRA) を適用し、QとVの行列を変更する（Kは固定のまま）。
• UNetベースの Auto Prompt Generator を導入し、BCE目的関数を用いて画像から高品質なプロンプトを作成する。
• LoRAと自動プロンプトを組み込んだ凍結済みのSAM画像エンコーダを用い、訓練可能なSAMマスクデコーダに入力してセグメンテーションを行う。
• 生成されたプロンプトまたは専門家のプロンプトを処理する凍結済みプロンプトエンコーダを採用し、最終マスクはSAMマスクデコーダから出力される。
• 必要に応じて手動プロンプトのための任意の推論パスを提供し、セグメンテーションを支援する。

実験結果

リサーチクエスチョン

• RQ1 パラメータ数を増やさずに、SAMのLoRAベースのファインチューニングは核領域のセグメンテーションを改善できますか？
• RQ2 専門家プロンプトのみと比較して、自動プロンプト生成はセグメンテーション品質を改善しますか？
• RQ3 セグメンテーション性能に対するセントロイドベースと直接的確率ベースのプロンプト選択はどのように影響しますか？
• RQ4 SACは核領域のセグメンテーションを超えるさまざまなセマンティックセグメンテーションタスクに適用可能ですか？
• RQ5 SAMベースの核領域セグメンテーション性能に対するプロンプトの数と品質の影響はどれくらいですか？

主な発見

手法	F1	IoU	Dice
MoNuSeg-U-Net	79.43	65.99	-
MoNuSeg-MedT	79.55	66.17	-
MoNuSeg-UCTransNet	-	65.5	79.08
MoNuSeg-MDM	-	-	81.01
MoNuSeg-HistoSeg	75.08	71.06	-
MoNuSeg-DoubleU-Net	-	62.82	77.16
MoNuSeg-SAM 1-expert	25.36	14.24	24.03
MoNuSeg-SAM-FT 1-expert	81.57	68.76	81.40
MoNuSeg-MSA 1-expert	81.65	69.07	81.62
MoNuSeg-SAC 0-expert	84.11	72.61	84.03
DSB-U-Net	-	83.10	90.80
DSB-UCTransNet	-	83.50	91.10
DSB-DoubleU-Net	-	84.07	91.33
DSB-DuAT	-	87.00	92.60
DSB-SSFormer-L	-	86.14	92.30
DSB-MSRF-Net	-	85.34	92.24
DSB-FANet	91.76	85.69	-
DSB-SAM 1-expert	66.79	58.37	69.79
DSB-SAM-FT 1-expert	92.89	86.17	92.37
DSB-MSA 1-expert	93.24	86.94	92.85
DSB-SAC 0-expert	93.48	87.32	93.04

• SACはMoNuSegおよびDSBデータセットで、SAMベースのバリアントやいくつかのCNN/Transformer法を含むベースラインよりも優れたセグメンテーションスコア（Dice, IoU, F1）を達成します。
• ゼロショットSAM（1-expert）はファインチューニング済みアプローチと比べて性能が低い一方、LoRAと自動プロンプトを用いたSACは指標全体でSAM-FTおよびMSAを上回ります。
• LoRAベースのSAMファインチューニングと自動プロンプトはMSAよりも高いDiceとIoUを達成し、パラメータを増やさずに効率と有効性を示します。
• 段階的な自動プロンプト使用（ポイント数）と少数の専門家プロンプトの組み合わせは性能を向上させる；セントロイドベースのプロンプト選択は、より多くのポイント数において直接の確率ベース選択よりも優れている。
• SACはSAM-FTおよびMSAよりもDice収束が速く、全体として同等かそれ以下の訓練可能パラメータ数を使用しており、効率性を際立たせている。