[論文レビュー] Slide-SAM: Medical SAM Meets Sliding Window

Quan Quan, Fenghe Tang+3 more|arXiv (Cornell University)|Nov 16, 2023

AI in cancer detection被引用数 4

ひとこと要約

Slide-SAMは、事前学習済みのSegment Anything Model（SAM）を用いて、中央スライスへの1つのプロンプトのみを必要とすることで、効率的でマルチスライスの3D医療画像セグメンテーションを実現するスライディングウィンドウアプローチを提案する。事前学習済み重みを活用し、スーパープิกセルベースのプロンプトを用いて偽ラベルを生成し、3Dおよび2Dラベルを組み合わせたハイブリッド損失関数を用いることで、最小限のプロンプトで最先端の性能を達成し、少数のプロンプト設定において2D SAMベースラインを上回る性能を発揮する。

ABSTRACT

The Segment Anything Model (SAM) has achieved a notable success in two-dimensional image segmentation in natural images. However, the substantial gap between medical and natural images hinders its direct application to medical image segmentation tasks. Particularly in 3D medical images, SAM struggles to learn contextual relationships between slices, limiting its practical applicability. Moreover, applying 2D SAM to 3D images requires prompting the entire volume, which is time- and label-consuming. To address these problems, we propose Slide-SAM, which treats a stack of three adjacent slices as a prediction window. It firstly takes three slices from a 3D volume and point- or bounding box prompts on the central slice as inputs to predict segmentation masks for all three slices. Subsequently, the masks of the top and bottom slices are then used to generate new prompts for adjacent slices. Finally, step-wise prediction can be achieved by sliding the prediction window forward or backward through the entire volume. Our model is trained on multiple public and private medical datasets and demonstrates its effectiveness through extensive 3D segmetnation experiments, with the help of minimal prompts. Code is available at \url{https://github.com/Curli-quan/Slide-SAM}.

研究の動機と目的

• 2D SAMを3D医療ボリュームに適用する課題に対処すること。特に、スライス単位の推論が不連続性を引き起こし、アノテーションコストが高くなる問題を解決すること。
• 1つの初期プロンプトのみを用いても、SAMの事前学習済み重みを保持したまま効果的な3Dセグメンテーションを実現すること。
• しきい値範囲とスーパープิกセルベースのプロンプトから得られる豊富な2D偽ラベルを生成することで、データ効率を向上させること。
• 3Dの正解ラベルと2Dの偽ラベルを組み合わせたハイブリッド損失関数を用いることで、訓練および推論のロバスト性を向上させること。
• 2D SAMと組み合わせたアンサンブル学習により、相補的な強みを活かして性能を向上させること。

提案手法

• Slide-SAMは3つの連続するスライスをスライディングウィンドウとして処理し、中央スライスへのプロンプトを用いて全3スライスのマスクを予測する。
• 上位および下位スライスからの予測を伝搬させ、次のウィンドウ用の新しいプロンプトを生成することで、ボリューム全体にわたり順次的で段階的な推論を実現する。
• 医療画像においてさまざまなしきい値範囲にわたるスーパープิกセルベースのプロンプトを適用し、SAMを用いて偽ラベルを生成する。
• ハイブリッド損失関数は、訓練中に3D正解ラベルと2D偽ラベルを適切に選択的に適用し、単一スライスおよびマルチスライスの監視の両方を最適化する。
• アンサンブル戦略では、安定性スコアとIoUしきい値に基づいて予測をフィルタリング・再評価することで、Slide-SAMと2D SAMを統合する。
• モデルはSAMの事前学習済みビジョンエンコーダーおよびデコーダーを保持しつつ、3Dコンテキストモデリング用の軽量アダプタを導入する。

実験結果

リサーチクエスチョン

• RQ1 2Dで事前学習されたSAMを、再訓練を一切行わずに3D医療画像セグメンテーションに効果的に適応できるか？
• RQ2 最小限の人的プロンプトをどのように活用すれば、ボリューム全体にわたり高品質な3Dセグメンテーションを達成できるか？
• RQ3 スーパープิกセルベースのプロンプトから生成された偽ラベルは、データが少ない環境下でもモデルの一般化性能を向上させられるか？
• RQ4 Slide-SAMと2D SAMの統合により、セグメンテーションのロバスト性と正確性はどのように向上するか？
• RQ5 スライディングウィンドウ機構は、空間的一致性を維持しつつ、どの程度アノテーションコストを削減できるか？

主な発見

• Slide-SAMは、AbdomenCT-1KおよびCHAOSデータセットにおいて、1つの解剖的構造あたり5つのプロンプトのみを用いて、2D SAMベースラインが平均して約40個のプロンプトを必要としているのと比べ、競争力ある3Dセグメンテーション性能を達成している。
• 2D SAM手法と比較して、90％のDiceスコアに到達するためのプロンプト数を50％以上削減しており、少数ショット効率の優位性を示している。
• 視覚的結果では、スライス間で滑らかで一貫性のあるセグメンテーションが得られており、スライス単位のSAM推論で一般的に見られる不連続性が解消されている。
• Slide-SAMと2D SAMのアンサンブルは、すべての解剖的構造において性能を向上させ、複数のテストセットでDiceスコアに顕著な向上を示している。
• スーパープิกセルプロンプトとSAM推論を用いて生成された偽ラベルは、実際のラベルでの微調整よりも顕著にモデル性能を向上させている。
• ノイズのあるポイントおよびボックスプロンプトに対して、特に平行移動およびスケーリングの摂動に対して、モデルはロバストであることが示された。