[論文レビュー] AutoProSAM: Automated Prompting SAM for 3D Multi-Organ Segmentation

Chengyin Li, Prashant Khanduri+4 more|arXiv (Cornell University)|Aug 28, 2023

Advanced Neural Network Applications被引用数 11

ひとこと要約

この論文は 2D Segment Anything Model (SAM) を3D CTベースの多臓器医用画像分割へ適応させ、パラメータ効率の良いアダプター、 自動プロンプト生成器、知識蒸馏による軽量モデルで、複数データセットで最先端の結果を達成します。

ABSTRACT

Segment Anything Model (SAM) is one of the pioneering prompt-based foundation models for image segmentation and has been rapidly adopted for various medical imaging applications. However, in clinical settings, creating effective prompts is notably challenging and time-consuming, requiring the expertise of domain specialists such as physicians. This requirement significantly diminishes SAM's primary advantage, its interactive capability with end users, in medical applications. Moreover, recent studies have indicated that SAM, originally designed for 2D natural images, performs suboptimally on 3D medical image segmentation tasks. This subpar performance is attributed to the domain gaps between natural and medical images and the disparities in spatial arrangements between 2D and 3D images, particularly in multi-organ segmentation applications. To overcome these challenges, we present a novel technique termed AutoProSAM. This method automates 3D multi-organ CT-based segmentation by leveraging SAM's foundational model capabilities without relying on domain experts for prompts. The approach utilizes parameter-efficient adaptation techniques to adapt SAM for 3D medical imagery and incorporates an effective automatic prompt learning paradigm specific to this domain. By eliminating the need for manual prompts, it enhances SAM's capabilities for 3D medical image segmentation and achieves state-of-the-art (SOTA) performance in CT-based multi-organ segmentation tasks. The code is in this {\href{https://github.com/ChengyinLee/AutoProSAM_2024}{link}}.

研究の動機と目的

• 2D SAMと3D医用画像のギャップを埋め、マルチオーガンCT分割を実現する。
• 自動プロンプト生成モジュールを導入して手動プロンプトを排除する。
• パラメータ効率の良い適応と軽量デコードにより高精度な分割を達成。
• 学習した知識をオンデバイス/POCTシナリオに適した小型モデルへ転送できることを実証。

提案手法

• 事前学習済み重みを再利用しつつ、3D処理を可能にするために、3D対応の位置エンコーディングと軽量アダプターで2D SAM画像エンコーダを変更する。
• 特徴マップからプロンプトを学習する軽量な3D UNet様のエンコーダ-デコーダを介して自動プロンプト生成機(APG)を導入し、手動プロンプトを排除する。
• 2Dマスクデコーダを、MLAM（多層統合）とスキップ接続を用いた3Dの軽量デコーダに置換し、細部をより良く保持する。
• AutoSAM Adapterの知識を小型モデル（例：SwinUNETR tiny/small）へ転送する知識蒸留(KD)フレームワークを適用し、リソース制約下での展開を実現。
• Dice損失とCross-Entropy損失の組み合わせで学習し、教師と生徒の間のMSEを用いたKD損失を適用し、ground truthと教師からの学習のバランスを取るためにλを調整可能とする。
• 事前学習済みコンポーネントの大半を固定しつつ、アダプター、プロンプト、デコーダパラメータを学習する2段階の訓練戦略を採用。

Figure 1 : Challenges associated with using SAM for medical image segmentation include: (A) a T-SNE plot of embeddings encoded by SAM’s image encoder, showcasing differences between medical image datasets such as AMOS [ 15 ] and BTCV [ 19 ] , and natural image datasets like ADE20K [ 48 ] and COCO [

実験結果

リサーチクエスチョン

• RQ1 2D foundation model (SAM) を3D医用画像分割へ最小限の微調整で効果的に適用できるか？
• RQ2 自動プロンプト生成モジュールは手動プロンプトと比べて多臓器3D分割性能を向上させるか？
• RQ3 軽量な3Dアダプターと3DデコーダおよびMLAMを組み合わせて、CTデータ上で最先端の3D医用分割モデルを上回れるか？
• RQ4 知識蒸留はAutoSAM Adapterの知識をより小型のデバイス上の分割モデルへ転送するのに有効か（POCTシナリオ）？

主な発見

• AutoSAM Adapterは一般に複数のCTデータセットにおいて最先端の3D医用分割メソッド（Dice, NSD）を上回る。
• BTCVではDiceで最大3%、NSDで3–7%の改善を達成。AMOSはデータ増加によりさらに大きな改善を示す。
• CT-ORGではAutoSAM Adapterが最高のNSDと競争力のあるDiceスコアをベースラインの中で達成。
• SAMベースの手法と比較して、提案するP&M（prompt and mask）微調整を含む AutoPROMOTER は MedSAM および他の SAM ベースのアダプターを、いくつかの指標で上回る。
• 知識蒸留により学習済みの3D能力を軽量な SwinUNETR 系列へ転送でき、Diceが顕著に改善（例：BTCVで約4%）
• アブレーション研究はAPGとMLAMが高い DiceとNSD を達成するために重要であり、KDパラメータlambdaを約0.5とすることで教師と真値の学習のバランスが取れることを示す。

Figure 2 : (A) The overall architecture of the AutoSAM Adapter , (B) the design of the Spatial Adapter module, which utilizes parameter-efficient model fine-tuning, (C) the architecture of the Auto Prompt Generator , featuring a U-Net-like encoder-decoder design, and (D) the pipeline for deriving a