[論文レビュー] Segment Anything Model for Medical Image Segmentation: Current Applications and Future Directions

Yichi Zhang, Zhenrong Shen+1 more|arXiv (Cornell University)|Jan 7, 2024

Artificial Intelligence in Healthcare and Education被引用数 8

ひとこと要約

Segment Anything Model (SAM) がゼロショット設定で医用画像分割をどのように行うかと、研究者がSAMを微調整、自動プロンプト、3D拡張で医療データへ適応する方法の調査。

ABSTRACT

Due to the inherent flexibility of prompting, foundation models have emerged as the predominant force in the fields of natural language processing and computer vision. The recent introduction of the Segment Anything Model (SAM) signifies a noteworthy expansion of the prompt-driven paradigm into the domain of image segmentation, thereby introducing a plethora of previously unexplored capabilities. However, the viability of its application to medical image segmentation remains uncertain, given the substantial distinctions between natural and medical images. In this work, we provide a comprehensive overview of recent endeavors aimed at extending the efficacy of SAM to medical image segmentation tasks, encompassing both empirical benchmarking and methodological adaptations. Additionally, we explore potential avenues for future research directions in SAM's role within medical image segmentation. While direct application of SAM to medical image segmentation does not yield satisfactory performance on multi-modal and multi-target medical datasets so far, numerous insights gleaned from these efforts serve as valuable guidance for shaping the trajectory of foundational models in the realm of medical image analysis. To support ongoing research endeavors, we maintain an active repository that contains an up-to-date paper list and a succinct summary of open-source projects at https://github.com/YichiZhang98/SAM4MIS.

研究の動機と目的

• 医療分野での画像分割のためのファウンデーションモデルと SAM アーキテクチャを紹介する。
• SAM のゼロショット性能を多様な医用画像モダリティとタスクで評価する。
• 微調整、プロンプト設計、自動プロンプト、フレームワークの改良を含む適応戦略を要約する。
• 医用画像分析における SAM の課題、限界、将来の方向性を強調する。

提案手法

• SAM アーキテクチャを説明する：画像エンコーダ（ViT）、プロンプトエンコーダ、軽量マスクデコーダ。
• CT、MRI、病理、結腸鏡検査、内視鏡、および多モダリティデータセットを横断したゼロショット評価研究を要約する。
• 適応アプローチを（i）医用画像での微調整、（ii）自動プロンプトとプロンプト学習、（iii）他モデルとの統合を含むフレームワーク改良、（iv）体積データのための3D拡張、に分類する。
• AutoSAM、DeSAM、UR-SAM などの自動プロンプティング手法と、不確実性推定が信頼性を向上させる方法を要約する。
• 体積医療データを扱うための2Dから3Dへの適用（例：Med-SA、3DSAM-adapter、SAM-Med2D、SAM-Med3D）を検討する。

実験結果

リサーチクエスチョン

• RQ1 SAM は異なるモダリティやタスクでゼロショットの医用画像分割をどれくらいうまく行えるか？
• RQ2 微調整、PEFT、自動プロンプト、3D拡張などの適応戦略は医用データでの分割性能をどのように改善するか？
• RQ3 医用画像に直接適用した場合の SAM の限界は何で、次元性、モダリティ、サイズ、コントラストなどの要因が性能にどのように影響するか？
• RQ4 自動プロンプトと不確実性推定は SAM で信頼性の高い、注釈を最小限に抑えた医用分割を生み出せるか？
• RQ5 臨床放射線治療、手術、マルチモーダル分析への SAM の統合における将来の方向性と未解決課題は何か？

主な発見

• SAM のゼロショット医用分割は、プロンプトや微調整なしには多くのタスクで一般に性能が劣る。
• 微調整（全結合とパラメータ効率のあるものを含む）と特化した医用データセット（例：MedSAM）により性能が大幅に向上し、選択されたタスクで SOTA モデルを上回るまたは同等に達することもある。
• 自動プロンプティングと学習可能なプロンプト（例：AutoSAM、DeSAM、UR-SAM）は頑健性を高め、信頼性の向上した完全自動または半自動セグメンテーションを実現できる。
• 3D 適応（例：SAM-Med3D、3DSAM-adapter）は体積データ向けの2D SAM の限界を克服し、3D 医用画像の性能を向上させる。
• 不確実性ガイド付きプロンプト生成と修正（UR-SAM、EviPrompt）はプロンプト間・領域を越えて信頼性を向上させる。
• タスク固有モデル（nnSAM、SAMUS、SAMPath）と SAM を統合したハイブリッドフレームワークは臨床ワークフローにおける分割精度と実用性を向上させる。