[論文レビュー] SAM-Med2D

Junlong Cheng, Jin Ye+13 more|arXiv (Cornell University)|Aug 30, 2023

Radiomics and Machine Learning in Medical Imaging被引用数 17

ひとこと要約

SAM-Med2D は大規模なドメイン特化ファインチューニングにより、自然画像モデル SAM を医療用 2D 画像に適応させ、モダリティと臓器を超えた強い一般化を備えた多プロンプト対話型セグメンテーションを実現します。

ABSTRACT

The Segment Anything Model (SAM) represents a state-of-the-art research advancement in natural image segmentation, achieving impressive results with input prompts such as points and bounding boxes. However, our evaluation and recent research indicate that directly applying the pretrained SAM to medical image segmentation does not yield satisfactory performance. This limitation primarily arises from significant domain gap between natural images and medical images. To bridge this gap, we introduce SAM-Med2D, the most comprehensive studies on applying SAM to medical 2D images. Specifically, we first collect and curate approximately 4.6M images and 19.7M masks from public and private datasets, constructing a large-scale medical image segmentation dataset encompassing various modalities and objects. Then, we comprehensively fine-tune SAM on this dataset and turn it into SAM-Med2D. Unlike previous methods that only adopt bounding box or point prompts as interactive segmentation approach, we adapt SAM to medical image segmentation through more comprehensive prompts involving bounding boxes, points, and masks. We additionally fine-tune the encoder and decoder of the original SAM to obtain a well-performed SAM-Med2D, leading to the most comprehensive fine-tuning strategies to date. Finally, we conducted a comprehensive evaluation and analysis to investigate the performance of SAM-Med2D in medical image segmentation across various modalities, anatomical structures, and organs. Concurrently, we validated the generalization capability of SAM-Med2D on 9 datasets from MICCAI 2023 challenge. Overall, our approach demonstrated significantly superior performance and generalization capability compared to SAM.

研究の動機と目的

• 自然画像の SAM と医療画像セグメンテーションのギャップを医療ドメイン知識を取り入れて埋める。
• 医療タスクのために SAM を訓練・ファインチューニングするための大規模で多様な医療画像セグメンテーションデータセットを作成する。
• 医療画像向けの包括的なプロンプトサポート（ポイント、境界ボックス、マスク）とアダプター型ファインチューニングを開発する。
• 複数のモダリティと解剖構造で SAM-Med2D を評価し、MICCAI 2023 データセットでの一般化を検証する。

提案手法

• 公開・非公開ソースから約 4.6M 枚の医療画像と 19.7M 枚のマスクを収集・前処理し、10 種類のモダリティと31臓器をカバーする。
• 画像エンコーダを凍結し、各 Transformer ブロックに学習可能なアダプターを挿入して医療ドメイン知識を学習する。
• ポイント、境界ボックス、マスクのプロンプト用エンコーダをファインチューニングし、シミュレートされた対話型セグメンテーションでマスクデコーダを訓練する。
• 密集プロンプトと疎プロンプトを使用し、1つのプロンプトにつき複数のマスクを予測し、逆伝播中の IoU ベースの選択で損失を計算する。
• 1 バッチあたり9ステップの対話型セグメンテーションをシミュレートし、初期段階でアダプター、プロンプトエンコーダ、マスクデコーダのパラメータを更新し、その後は主にマスクデコーダを更新する。

実験結果

リサーチクエスチョン

• RQ1 SAM-Med2D は、素の SAM より医療画像において優れたセグメンテーション性能を達成できるか？
• RQ2 医療画像で異なるプロンプト（ポイント、境界ボックス、マスク）がセグメンテーション品質にどう影響するか？
• RQ3 大規模な医療ドメインのファインチューニングはモダリティ間や未見 MICCAI 2023 データセットでの一般化を改善するか？
• RQ4 アダプター-based ファインチューニングは医療画像のドメイン適応に対して SAM エンコーダの影響をどう与えるか？

主な発見

Model	Resolution	Prompt mode	Dice-1pt?	Dice-3pts?	Dice-5pts?	FPS
SAM	256x256	Bbox	61.63	18.94	28.28	51
SAM	1024x1024	Bbox	74.49	36.88	42.00	8
FT-SAM	256x256	Bbox	73.56	60.11	70.95	51
SAM-Med2D	256x256	Bbox	79.30	70.01	76.35	35

• SAM-Med2D は評価済みタスクで SAM および FT-SAM より高い Dice スコアを達成し、特に 256x256 解像度とマルチプロンプト使用で顕著な向上を示す。
• ポイントベースのプロンプトは、対話型セグメンテーションで複数のポイントを使用することで、境界ボックスに対抗する、または上回る場合がある。
• SAM-Med2D は 9 件の MICCAI 2023 データセットで強い一般化を示し、未見の医療画像での堅牢な性能を示す。
• 包括的なプロンプトサポート（ポイント、ボックス、マスク）とアダプターにより、従来手法よりも広く、より効果的な医療画像セグメンテーションを実現する。
• 大規模な医療データとドメイン適応型ファインチューニングが SAM の医療セグメンテーション性能を向上させるという利点を実証している。