[論文レビュー] Towards Segment Anything Model (SAM) for Medical Image Segmentation: A Survey

Yichi Zhang, Rushi Jiao|arXiv (Cornell University)|May 5, 2023

Radiomics and Machine Learning in Medical Imaging被引用数 17

ひとこと要約

この調査はSAMが医用画像分割でどのように機能するかを分析し、適応/微調整手法をレビューし、分割における医療基盤モデルの課題と将来の方向性について論じる。

ABSTRACT

Due to the flexibility of prompting, foundation models have become the dominant force in the domains of natural language processing and image generation. With the recent introduction of the Segment Anything Model (SAM), the prompt-driven paradigm has entered the realm of image segmentation, bringing with a range of previously unexplored capabilities. However, it remains unclear whether it can be applicable to medical image segmentation due to the significant differences between natural images and medical images.In this work, we summarize recent efforts to extend the success of SAM to medical image segmentation tasks, including both empirical benchmarking and methodological adaptations, and discuss potential future directions for SAM in medical image segmentation. Although directly applying SAM to medical image segmentation cannot obtain satisfying performance on multi-modal and multi-target medical datasets, many insights are drawn to guide future research to develop foundation models for medical image analysis. To facilitate future research, we maintain an active repository that contains up-to-date paper list and open-source project summary at https://github.com/YichiZhang98/SAM4MIS.

研究の動機と目的

• 多様な医用画像タスクに対するSAMのゼロショットおよび少数ショットの能力を評価する。
• 医用画像分割におけるモダリティ間およびタスク横断でのSAMの実証的結果を調査する。
• 医療データに対してSAMを適応・微調整する方法を要約する。
• 医用画像におけるSAMの課題、知識ギャップ、および将来の方向性を論じる。

提案手法

• 画像エンコーダ、プロンプトエンコーダ、マスクデコーダを含むSAMアーキテクチャを説明する。
• 文献を医用画像分野の評価研究と適応手法に分類する。
• SAMの選択的部分（例：マスクデコーダ、アダプター、LoRA）を変更する微調整戦略を要約する。
• 3D医用データや多模態入力へ拡張するアプローチを説明する。
• 医用分割を改善する自動プロンプトとプロンプト堅牢性技術を強調する。
• MedSAM、MSA、DeSAM、AutoSAMなど、ドメイン固有の適応を引用する。

実験結果

リサーチクエスチョン

• RQ1 モダリティとターゲットを横断して、SAMは医用画像に対して信頼できるゼロショット分割を提供するか？
• RQ2 SAMを医用画像分割に効果的に適応・微調整して、ドメイン特化モデルを上回ることができるか？
• RQ3 医療文脈で最良の性能をもたらすプロンプトモードとアーキテクチャの調整はどれか？
• RQ4 SAMを活用しつつ注釈コストを削減する実用的な戦略は何か？
• RQ5 堅牢なSAMベースの医療分割のために必要な将来の方向性とデータ要件は何か？

主な発見

• 医用画像へ直接SAMを適用すると、データセットやタスクによって性能が変動する。
• SAMの選択的なコンポーネントを微調整または適応させると競争力のある結果を得られるが、専門モデルにはまだ及ばない場合がある。
• ボックスプロンプトは、多くの医療データセットでポイントプロンプトよりも良好に機能する傾向があるが、タスクによって結果は異なる。
• 堅牢性を高める有望なアプローチとして、ドメイン対応アダプター、3D拡張、マルチモーダルプロンプトが挙げられる。
• SAMを用いた自動プロンプト生成と入力拡張が、下流の分割モデルを向上させるのに役立つ。