[論文レビュー] Foundation Models for Biomedical Image Segmentation: A Survey

Ho Hin Lee, 裕二 池谷+10 more|arXiv (Cornell University)|Jan 15, 2024

Radiomics and Machine Learning in Medical Imaging被引用数 13

ひとこと要約

この調査は Segment Anything Model (SAM) とその医用画像分割適応を、SAM 公表後の最初の6か月を対象に分析し、ゼロショット性能、ドメイン特化のチューニング、3D拡張、および33の公開データセット全体での知識蒸留を詳述する。

ABSTRACT

Recent advancements in biomedical image analysis have been significantly driven by the Segment Anything Model (SAM). This transformative technology, originally developed for general-purpose computer vision, has found rapid application in medical image processing. Within the last year, marked by over 100 publications, SAM has demonstrated its prowess in zero-shot learning adaptations for medical imaging. The fundamental premise of SAM lies in its capability to segment or identify objects in images without prior knowledge of the object type or imaging modality. This approach aligns well with tasks achievable by the human visual system, though its application in non-biological vision contexts remains more theoretically challenging. A notable feature of SAM is its ability to adjust segmentation according to a specified resolution scale or area of interest, akin to semantic priming. This adaptability has spurred a wave of creativity and innovation in applying SAM to medical imaging. Our review focuses on the period from April 1, 2023, to September 30, 2023, a critical first six months post-initial publication. We examine the adaptations and integrations of SAM necessary to address longstanding clinical challenges, particularly in the context of 33 open datasets covered in our analysis. While SAM approaches or achieves state-of-the-art performance in numerous applications, it falls short in certain areas, such as segmentation of the carotid artery, adrenal glands, optic nerve, and mandible bone. Our survey delves into the innovative techniques where SAM's foundational approach excels and explores the core concepts in translating and applying these models effectively in diverse medical imaging scenarios.

研究の動機と目的

• SAM が医用画像に対して、ドメイン特化した訓練なしでどの程度一般化するかを評価する。
• 医療タスクへ適応させるためのドメイン特化チューニング技術を調査する。
• ボリューメトリックデータに対する3D拡張と多次元適用を検討する。
• タスク固有モデルのためにSAM出力を活用する知識蒸留戦略を検討する。
• SAM が成功するまたは不足する臨床上の課題とデータセットを特定する。

提案手法

• SAM の適応を4つの主要な方法論に分類・整理する: ゼロショット評価、アダプター/投影/全チューニング、3D拡張、知識蒸留。
• SAM アーキテクチャを説明する: 画像エンコーダ（MAE/ViT）、プロンプトエンコーダ、軽量マスクデコーダ。
• 複数の modality とターゲットにまたがる33の公開医用画像データセットを収集・分析する。
• 医用データの2D対3D処理について、2.5Dアプローチやボリューム戦略を含めて検討する。
• 初期の医用SAM研究で観察された性能動向と制限を要約する。

Figure 1 : Evolution of SAM’s adaptation in medical research from April to September 2023. The graph showcases the cumulative studies emphasizing four phases: (i) Zero-shot Evaluation, (ii) Multi-dimensional Extension, (iii) Domain-specific Tuning, and (iv) Knowledge Distillation, highlighting a gro

実験結果

リサーチクエスチョン

• RQ1 多様なデータセットにおけるゼロショット医用画像分割でSAMはどの程度機能するか？
• RQ2 ドメイン特化チューニング戦略（投影、アダプター、全体チューニング）が自然画像から医用画像へSAMを最も効果的につなぐのか？
• RQ3 SAMの2Dフレームワーク内で3D医用画像データはどのように扱われ、提案された拡張は何か？
• RQ4 知識蒸留がSAMの能力をタスク特化の医用モデルへ翻訳する際の役割は何か？
• RQ5 初期の公開データセットに基づき、SAMが優れるまたは苦労する主な解剖学的ターゲットとモダリティは何か？

主な発見

• SAM は様々な医用分割タスクでしばしば最先端または競合的な結果を達成するが、頸動脈、副腎、視神経、顎骨などの構造にはギャップがある。
• ドメイン特化チューニング（アダプターと全チューニング）および3D拡張は、SAM の医用性能を改善する活発な領域である。
• 3D医用データは、SAMの2D設計に対応するため、一般的に2Dスライスとして処理するか、2.5D/ボリューミックアプローチで処理される。
• 知識蒸留はSAM出力を疑似ラベルとして用いることで半教師あり設定の下流タスクモデルを向上させることができる。
• 7つのモダリティと17の解剖学にまたがる33の公開データセットという広範なデータセット環境があり、SAMの適用範囲は広いが不均一であることを示している。

(a) Data distribution by imaging modality