[論文レビュー] Can SAM Segment Polyps?

Tao Zhou, Yizhe Zhang+3 more|arXiv (Cornell University)|Apr 15, 2023

Radiomics and Machine Learning in Medical Imaging被引用数 9

ひとこと要約

この論文は、5つの内視鏡検査データセットで無 prompting ポリップセグメンテーションを対象に Segment Anything Model (SAM) を評価し、SAM は最新のポリップセグメンテーションモデルと比較して性能が劣ることを示す；タスク固有データで SAM をファインチューニングすると結果が改善される可能性がある。

ABSTRACT

Recently, Meta AI Research releases a general Segment Anything Model (SAM), which has demonstrated promising performance in several segmentation tasks. As we know, polyp segmentation is a fundamental task in the medical imaging field, which plays a critical role in the diagnosis and cure of colorectal cancer. In particular, applying SAM to the polyp segmentation task is interesting. In this report, we evaluate the performance of SAM in segmenting polyps, in which SAM is under unprompted settings. We hope this report will provide insights to advance this polyp segmentation field and promote more interesting works in the future. This project is publicly at https://github.com/taozh2017/SAMPolyp.

研究の動機と目的

• SAM が無 prompting モードで大腸内視鏡画像のポリップをユーザーのプロンプトなしでどれだけ正しく分割できるかを評価する。
• 複数のベンチマークで SAM を最先端の CNN/Transformer ベースのポリップセグメンテーションモデルと比較する。
• 医用画像における SAM の強みと失敗モードを特定するため、定性的なセグメンテーション例を分析する。
• ポリップセグメンテーションへの SAM の適用と潜在的なファインチューニング戦略に関する今後の課題指針を提供する。

提案手法

• 二つのバックボーン（SAM-H と SAM-L）を用いて5データセットのポリップをセグメントする。
• 6つの指標（mDice, mIoU, S_alpha, F_beta^w, E_phi^max, M）でセグメンテーション性能を評価する。
• 画像ごとに SAM の複数出力からground-truth に対して S_alpha を最大化するマスクを選択する。
• 各データセットで SAM を14のCNNベースモデルと2つのTransformerベースモデルと比較する。
• 成功および失敗した SAM セグメンテーションの定性的可視化を提供する。
• ポリップセグメンテーション性能を改善する可能性のあるファインチューニング手法を議論する。

実験結果

リサーチクエスチョン

• RQ1 無 prompting モードの SAM は標準的な大腸内視鏡ベンチマークで競争力のあるポリップセグメンテーション性能を達成できるか。
• RQ2 多様なデータセットにわたって SAM は確立された CNN/Transformer ベースのポリップセグメンテーション手法とどのように比較されるか。
• RQ3 大腸内視鏡画像のポリップをセグメントするとき、SAM の一般的な失敗モードは何か。
• RQ4 可搬性のあるファインチューニングにより SAM のセグメンテーション性能は改善されるか。

主な発見

• 無 prompting 設定の SAM は、調査対象のデータセット全体で専用のポリップセグメンテーションモデルを上回らない。
• CVC-ClinicDB、Kvasir、CVC-ColonDB、ETIS、CVC-300 などのデータセットでは、SAM バリアントは最先端手法に比べて複数の指標で低い性能を示す。
• 定性的な結果は、SAM が一部のポリップをうまくセグメントできる一方で、ポリップ境界が周囲の粘膜に対してぼやけている場合には苦労することを示す。
• 医用画像セグメンテーションにおける自然画像コーパスでの学習が原因で、SAM の失敗事例が生じることを示す。
• 著者らは、タスク特異的なポリップデータセットで SAM をファインチューニングするとゼロショット使用よりも良いセグメンテーション性能を得られる可能性があると示唆している。