[論文レビュー] I-MedSAM: Implicit Medical Image Segmentation with Segment Anything

Xiaobao Wei, Jiajun Cao+4 more|arXiv (Cornell University)|Nov 28, 2023

Radiomics and Machine Learning in Medical Imaging被引用数 4

ひとこと要約

I-MedSAMは、セグメンテーション・アト・ワン・モデル（SAM）とインプリシット・ニューラル表現（INRs）を組み合わせることで、一般化性能と境界精度を向上させる画期的な暗黙的医療画像セグメンテーションフレームワークを提案する。粗い段階から細かい段階へのINRデコーダーに周波数に敏感なアダプタと不確実性を指針とするサンプリングを統合することで、160万パラメータのわずかな学習可能なパラメータで、2次元医療画像セグメンテーションベンチマークにおいて、離散的および連続的メソッドを凌駕する最先端の性能を達成した。

ABSTRACT

With the development of Deep Neural Networks (DNNs), many efforts have been made to handle medical image segmentation. Traditional methods such as nnUNet train specific segmentation models on the individual datasets. Plenty of recent methods have been proposed to adapt the foundational Segment Anything Model (SAM) to medical image segmentation. However, they still focus on discrete representations to generate pixel-wise predictions, which are spatially inflexible and scale poorly to higher resolution. In contrast, implicit methods learn continuous representations for segmentation, which is crucial for medical image segmentation. In this paper, we propose I-MedSAM, which leverages the benefits of both continuous representations and SAM, to obtain better cross-domain ability and accurate boundary delineation. Since medical image segmentation needs to predict detailed segmentation boundaries, we designed a novel adapter to enhance the SAM features with high-frequency information during Parameter-Efficient Fine-Tuning (PEFT). To convert the SAM features and coordinates into continuous segmentation output, we utilize Implicit Neural Representation (INR) to learn an implicit segmentation decoder. We also propose an uncertainty-guided sampling strategy for efficient learning of INR. Extensive evaluations on 2D medical image segmentation tasks have shown that our proposed method with only 1.6M trainable parameters outperforms existing methods including discrete and implicit methods. The code will be available at: https://github.com/ucwxb/I-MedSAM.

研究の動機と目的

• 離散的表現の医療画像セグメンテーションにおける限界、例えば空間的な柔軟性の欠如や境界の明確でない表現を是正すること。
• 連続的表現を用いて、医療画像セグメンテーションにおけるクロスドメイン一般化性と解像度スケーラビリティを向上させること。
• 新しいアダプタを用いて周波数ドメイン情報を取り入れることで、SAMの医療画像における性能を向上させること。
• 不確実性を指針とするサンプリングを用いた粗い段階から細かい段階へのINRデコーダーにより、インプリシット・ニューラル表現学習を最適化し、効率的で正確な推論を実現すること。

提案手法

• I-MedSAMは、パrameter効率的微調整（PEFT）の過程で、DFTスペクトルからの高周波数情報をSAM特徴量に統合する周波数アダプタを用いる。これにより境界感度が向上する。
• モデルは2段階のインプリシット・ニューラル表現（INR）デコーダーを採用する：粗いINRが初期セグメンテーションを予測し、その後、選択された点上で精錬されたINRが適用される。
• 不確実性を指針とするサンプリングは、粗いINR出力から、分散が最大の上位K個の特徴点を選択し、曖昧または複雑な領域に焦点を当てる。
• INRデコーダーは、画像特徴量と座標グリッドを連続的セグメンテーション出力にマッピングする。これにより、解像度に依存しない推論が可能になる。
• このフレームワーク全体は、わずか160万パラメータの学習可能なパラメータでエンドツーエンドに訓練され、SAMの効率的微調整にLoRAを活用する。
• 空間的および周波数ドメイン特徴量を統合することで、表現能力を向上させつつ、ドメインシフト下でも一般化性能を維持する。

Figure 2 : The overall pipeline of I-MedSAM. First, given the medical images and a coarse bounding box as a prompt, I-MedSAM utilizes the medical image encoder and the prompt encoder to generate discrete features. For the medical image encoder, we design low-rank adapters and frequency adapters to e

実験結果

リサーチクエスチョン

• RQ1 インプリシット・ニューラル表現は、医療画像セグメンテーションモデルの一般化性能と解像度スケーラビリティを向上させ得るか？
• RQ2 SAM特徴量に周波数ドメイン情報を取り入れることで、セグメンテーション境界の正確性にどのような影響を与えるか？
• RQ3 不確実性を指針とするサンプリングは、医療画像におけるインプリシットセグメンテーションの効率性と正確性を向上させ得るか？
• RQ4 選択的サンプリングを伴う粗い段階から細かい段階へのINRデコーダーは、標準的なINRまたは離散的予測ヘッドに比べ、医療画像セグメンテーションで優れた性能を示すか？
• RQ5 軽量でパラメータ効率的なアダプタは、多様な医療画像ドメインにおけるSAMの性能をどの程度向上させ得るか？

主な発見

• I-MedSAMはBCVデータセットで86.28%のDiceスコア、AMOSデータセットで79.86%のDiceスコアを達成し、最先端の離散的および連続的メソッドを上回った。
• アブレーションスタディの結果、LoRAランク4が最小パラメータで最適な性能を示し、PEFT戦略の効率性が裏付けられた。
• 周波数アダプタを導入した場合、振幅スペクトルを用いることで86.80%のDiceスコアを達成し、アダプタなし（86.19%）と比較して0.61%向上した。振幅が位相よりも重要であることが判明した。
• 上位12.5%の特徴点を不確実性を指針とするサンプリングで選択した場合、86.80%のDiceスコアを達成し、全サンプリングを上回った。これは、選択的サンプリングが効果的かつ効率的であることを示している。
• I-MedSAMは、Kvasir-SessileおよびBCVデータセットにおける定性的比較から、ドメインシフトに対しても頑健に一般化し、優れた境界明確化を示した。
• わずか160万パラメータの学習可能なパラメータで高い性能を維持しており、nnUNet（1億2660万）やSAMed（390万）といったベースライン手法と比べて顕著に少ない。

Figure 3 : The illustration of the proposed frequency adapters and LoRA in the image encoder. With these adapters, I-MedSAM can be trained with minorities of parameters while obtaining high-quality segmentation boundaries.