[論文レビュー] Medical SAM Adapter: Adapting Segment Anything Model for Medical Image Segmentation

Junde Wu, Ji, Wei+5 more|arXiv (Cornell University)|Apr 25, 2023

Radiomics and Machine Learning in Medical Imaging被引用数 222

ひとこと要約

本論文は Med-SA を導入する。これは medical image segmentation のための SAM のパラメータ効率的な適応で、2D-to-3D のために SD-Trans を、プロンプト条件付き適応のために HyP-Adpt を用い、約 2% のパラメータを更新するだけで、17 タスクにおいて最先端の結果を達成する。

ABSTRACT

The Segment Anything Model (SAM) has recently gained popularity in the field of image segmentation due to its impressive capabilities in various segmentation tasks and its prompt-based interface. However, recent studies and individual experiments have shown that SAM underperforms in medical image segmentation, since the lack of the medical specific knowledge. This raises the question of how to enhance SAM's segmentation capability for medical images. In this paper, instead of fine-tuning the SAM model, we propose the Medical SAM Adapter (Med-SA), which incorporates domain-specific medical knowledge into the segmentation model using a light yet effective adaptation technique. In Med-SA, we propose Space-Depth Transpose (SD-Trans) to adapt 2D SAM to 3D medical images and Hyper-Prompting Adapter (HyP-Adpt) to achieve prompt-conditioned adaptation. We conduct comprehensive evaluation experiments on 17 medical image segmentation tasks across various image modalities. Med-SA outperforms several state-of-the-art (SOTA) medical image segmentation methods, while updating only 2\% of the parameters. Our code is released at https://github.com/KidsWithTokens/Medical-SAM-Adapter.

研究の動機と目的

• 医用画像に対する SAM の性能向上を、全体的なファインチューニングを行わずに医用領域の知識を取り入れて動機づける。
• （i）SD-Trans を用いて 2D から 3D への適応を可能にする、軽量な適応フレームワーク（Med-SA）を開発し、（ii）HyP-Adpt を用いてプロンプト条件付き適応を実現する。
• 複数のモダリティにわたる 17 の医用分割タスクで Med-SA を評価し、SAM、MedSAM、および SOTA 手法と比較する。
• SAM のパラメータのおよそ 2% 程度のみを更新することで大幅な向上を達成できることを示す。

提案手法

• SAM のエンコーダとデコーダの両方に Adapter モジュールを挿入することで、適応ベースのパラメータ効率的ファインチューニングを組み込む。
• Split attention ブランチを介して空間次元と深さ次元を処理することで 3D の文脈情報を捉える Space-Depth Transpose (SD-Trans) を導入する。
• 視覚的プロンプトからプロンプト条件付きアダプタウェイトを生成する Hyper-Prompting Adapter (HyP-Adpt) を提案し、追加パラメータを少なくして広範かつ深いプロンプト適応を可能にする。
• 標準の SAM アダプタで 2D 医用画像を処理し、SD-Trans を用いて 3D ボリュームに拡張し、デコーダで HyP-Adpt を介してプロンプト情報を統合する。
• ユーザーの相互作用を模倣するため、ランダムおよび反復サンプリングを用いたポイントおよび境界ボックスによる対話的プロンプトで学習する。

実験結果

リサーチクエスチョン

• RQ1 軽量でアダプターベースの手法が、全ファインチューニングなしに SAM を医用ドメインに適応させることができるか。
• RQ2 SD-Trans は SAM のフレームワーク内で効果的な 2D-to-3D セグメンテーションを可能にするか。
• RQ3 HyP-Adpt は最小限のパラメータオーバーヘッドでプロンプト条件付き適応を提供できるか。
• RQ4 多様な医用画像モダリティとタスクにおいて Med-SA は、SAM、MedSAM、および専門の SOTA 手法と比較してどのように性能を示すか。

主な発見

• Med-SA は 17 の医用分割タスク全体で最先端の性能を達成し、SAM を上回り、完全にファインチューニングされた MedSAM をも凌ぎつつ、SAM のパラメータのおよそ 2% 程度のみを更新する。
• BTCV 腹部多臓器分割では、1点プロンプトを用いた Med-SA が既に従来手法を超え、BBox 0.75 で Dice が最大 89.8% まで達し、Swin-UNetr を 2.9% 上回る。
• Med-SA は複数のモダリティ（CT、MRI、超音波、眼底、皮膚鏡）にわたって MedSAM およびいくつかの SOTA ドメイン特化法（例: nnUNet、TransUNet、UNetr、Swin-UNetr）を上回る。
• SD-Trans および HyP-Adpt のアブレーションは、BTCV および BrainTumor のベンチマークで 2D-to-3D デザインが性能を大幅に向上させることを示し、HyP-Adpt はプロンプト埋め込みの単純な追加/連結と比較して大幅な改善をもたらす。
• Med-SA は複数モダリティデータセット（REFUGE2、BraTs、TNMIX、ISIC）への強い汎化能力を示し、タスク全体で一貫した改善を達成する。