[論文レビュー] Polyp-SAM++: Can A Text Guided SAM Perform Better for Polyp Segmentation?

Risab Biswas|arXiv (Cornell University)|Aug 12, 2023

Radiomics and Machine Learning in Medical Imaging被引用数 9

ひとこと要約

tldr: 本論文は、テキスト誘導型 SAM（Polyp-SAM++）をポリープセグメンテーションに使用し、プロンプトなしの SAM およびさまざまなベースラインと、3つの大腸内視鏡データセット上で性能を比較している。

ABSTRACT

Meta recently released SAM (Segment Anything Model) which is a general-purpose segmentation model. SAM has shown promising results in a wide variety of segmentation tasks including medical image segmentation. In the field of medical image segmentation, polyp segmentation holds a position of high importance, thus creating a model which is robust and precise is quite challenging. Polyp segmentation is a fundamental task to ensure better diagnosis and cure of colorectal cancer. As such in this study, we will see how Polyp-SAM++, a text prompt-aided SAM, can better utilize a SAM using text prompting for robust and more precise polyp segmentation. We will evaluate the performance of a text-guided SAM on the polyp segmentation task on benchmark datasets. We will also compare the results of text-guided SAM vs unprompted SAM. With this study, we hope to advance the field of polyp segmentation and inspire more, intriguing research. The code and other details will be made publically available soon at https://github.com/RisabBiswas/Polyp-SAM++.

研究の動機と目的

• テキストプロンプトが SAM の大腸ポリープ画像の分割精度を向上させるかを評価する。
• Polyp-SAM++ を、プロンプトなしの SAM および最先端のポリップセグメンテーションモデルと定量的に比較する。
• 多様なポリープ外観と撮像条件における頑健性を理解するために定性的な結果を分析する。

提案手法

• GroundingDINO を使用して、ポリープに焦点を当てたプロンプトからテキスト誘導の境界ボックスを生成する。
• 境界ボックスを SAM に入力してセグメンテーションマスクを取得する。
• 三つのデータセットにわたり mean dice (mDice)、mean IoU (mIoU)、F-measure (Fm) を評価する。
• Polyp-SAM++ を CNN/ViT ベースラインおよび他の SAM ベースのポリプ手法と比較する。
• Polyp-SAM++ が失敗するケースを分析し、潜在的な改善点を議論する。

Figure 1 : Overview of the Polyp-SAM++ Architecture

実験結果

リサーチクエスチョン

• RQ1 テキスト誘導のプロンプティング戦略は、未プロンプトの SAM と比較してポリップ分割を改善するか。
• RQ2 Polyp-SAM++ は標準データセット上で従来のポリップ分割モデルと比較してどうか。
• RQ3 テキスト誘導 SAM のポリップ分割における定性的な強みと失敗モードは何か。

主な発見

手法	CVC-ClinicDB mDice	CVC-ClinicDB mIoU	CVC-ClinicDB Fm	Kvasir-SEG mDice	Kvasir-SEG mIoU	Kvasir-SEG Fm	CVC-300 mDice	CVC-300 mIoU	CVC-300 Fm
UNet	0.82	0.75	0.81	0.81	0.746	0.79	0.71	0.62	0.68
UNet++	0.79	0.72	0.78	0.82	0.74	0.80	0.70	0.62	0.68
SFA	0.70	0.60	0.64	0.72	0.61	0.67	0.46	0.32	0.34
PraNet	0.89	0.84	0.89	0.89	0.84	0.88	0.87	0.79	0.84
ACSNet	0.88	0.82	0.87	0.89	0.83	0.88	0.86	0.78	0.82
MSEG	0.90	0.86	0.90	0.89	0.83	0.88	0.87	0.80	0.85
DCRNet	0.89	0.84	0.89	0.88	0.82	0.86	0.85	0.78	0.83
EU-Net	0.90	0.84	0.89	0.90	0.85	0.89	0.83	0.76	0.80
SANet	0.91	0.85	0.90	0.90	0.84	0.89	0.88	0.81	0.80
MSNet	0.91	0.86	0.91	0.90	0.84	0.89	0.86	0.79	0.84
C2FNet	0.91	0.87	0.90	0.88	0.83	0.87	0.87	0.80	0.92
LDNet	0.88	0.82	0.87	0.88	0.82	0.86	0.86	0.79	0.84
FAPNet	0.92	0.87	0.91	0.90	0.84	0.89	0.89	0.82	0.87
CFA-Net	0.93	0.88	0.92	0.91	0.86	0.90	0.89	0.82	0.87
Polyp-PVT	0.94	0.90	0.95	0.91	0.86	0.91	0.90	0.93	0.88
HSNet	0.93	0.88	0.93	0.92	0.87	0.91	0.90	0.83	0.88
Polyp-SAM	0.92	0.87	-	0.90	0.86	-	0.92	0.88	-
SAM-H	0.54	0.50	0.54	0.77	0.70	0.76	0.65	0.60	0.65
SAM-L	0.57	0.52	0.56	0.78	0.71	0.77	0.72	0.67	0.72
Polyp-SAM++	0.91	0.86	0.91	0.90	0.86	0.92	0.73	0.69	0.73

• Polyp-SAM++ は、3 つのベンチマークデータセットで最先端のポリップ法と競合する性能を達成している。
• テキスト誘導による局在化が SAM のポリップ分割をより正確にするのに役立つ。
• Polyp-SAM++ はいくつかの指標で未プロンプトの SAM よりも優れているが、難易度の高いケースでは依然として失敗を示す。
• 定性的結果は GroundingDINO + SAM の多くのシナリオで頑健性を示し、識別可能な失敗例も議論されている。

Figure 2 : Bounding Box created based on the Text-Prompt by GroundingDINO.