[論文レビュー] Segment Anything in Medical Images

Jun Ma, Yuting He+4 more|arXiv (Cornell University)|Apr 24, 2023

Radiomics and Machine Learning in Medical Imaging参考文献 41被引用数 87

ひとこと要約

MedSAM は、ユニバーサル医用画像分割の最初のファウンデーションモデルで、100万以上のimage-maskペアで学習され、多くのタスクで従来の分割ファウンデーションを上回り、専門モデルに匹敵し、腫瘍負荷の正確な定量化を可能にします。

ABSTRACT

Medical image segmentation is a critical component in clinical practice, facilitating accurate diagnosis, treatment planning, and disease monitoring. However, existing methods, often tailored to specific modalities or disease types, lack generalizability across the diverse spectrum of medical image segmentation tasks. Here we present MedSAM, a foundation model designed for bridging this gap by enabling universal medical image segmentation. The model is developed on a large-scale medical image dataset with 1,570,263 image-mask pairs, covering 10 imaging modalities and over 30 cancer types. We conduct a comprehensive evaluation on 86 internal validation tasks and 60 external validation tasks, demonstrating better accuracy and robustness than modality-wise specialist models. By delivering accurate and efficient segmentation across a wide spectrum of tasks, MedSAM holds significant potential to expedite the evolution of diagnostic tools and the personalization of treatment plans.

研究の動機と目的

• モダリティとタスクを横断する広範な一般化を持つユニバーサル医用画像分割モデルの必要性を動機付ける。
• Segment Anything Model (SAM) を大規模医療データセットに適用して MedSAM を開発する。
• 内部および外部タスクで最先端の分割ファウンデーションおよび専門モデルと対比して MedSAM を評価する。
• MedSAM が腫瘍負荷を正確に定量化する能力を示し、専門家の性能と比較する。

提案手法

• ViTベースの画像エンコーダを用いて画像エンコーダ、プロンプトエンコーダ、マスクデコーダを備えた SAM アーキテクチャを適応する。
• 15モダリティと30+種類の癌を超える 1,090,486 の医用画像-マスクペアで学習する。
• 境界ボックスプロンプトを使用する。トレーニング用に真のマスクからのプロンプトを摂動を伴ってシミュレートする。
• マスク済みオートエンコーダで事前訓練した後、SAMデータセット上で全監督学習を行う。プロンプトエンコーダを固定したまま、画像エンコーダとマスクデコーダをファインチューニングする。
• Dice と交差エントロピーの損失を組み合わせた最終損失で AdamW を用いて最適化する。20台の A100 GPU で 100 エポック train。

実験結果

リサーチクエスチョン

• RQ1 多様な医用画像モダリティと分割タスク全体に一般化できる単一のファウンデーションモデルを訓練できるか？
• RQ2 内的検証タスクで MedSAM は SAM および専門の U-Net モデルと比較してどうか？
• RQ3 外部検証データセットおよび未見のタスク/モダリティに対して MedSAM はどの程度一般化できるか？
• RQ4 MedSAM は癌全体にわたる腫瘍負荷を正確に定量化できるか？
• RQ5 特定のタスクにおける MedSAM の分割性能は人間の専門家とどの程度比較されるか？

主な発見

• MedSAM は最先端の分割ファウンデーションモデルを上回り、多くのタスクで専門モデルと互角または上回る。
• 内部検証では、重要タスク（例：頭蓋内出血CT、膠芽腫MR T1、気胸CXR、ポリープ内視鏡検査）でMedSAMは中央値 Dice スコアが高く、SAM および多くの U-Net ベースラインを上回る。
• 外部検証では、未見データセットとモダリティで優れた性能を维持し、SAM および専門モデルに対する顕著な改善を示す。
• MedSAM は選択された癌の専門家の体積と比較して r=0.99 のピアソン相関で腫瘍負荷を正確に定量化できる。
• 前立腺 MR 分割では MedSAM は6人の人間専門家に匹敵するか上回ることが示され、臨床的競争力を示す。