[論文レビュー] Enhancing the Reliability of Segment Anything Model for Auto-Prompting Medical Image Segmentation with Uncertainty Rectification

Yichi Zhang, Shiyao Hu+4 more|arXiv (Cornell University)|Nov 17, 2023

Brain Tumor Detection and Classification被引用数 8

ひとこと要約

UR-SAM は SAM を強化し、プロンプト拡張と不確実性 rectification モジュールを用いて追加訓練なしで信頼性の高い自動プロンプト化医用画像分割を可能にする。3D HaN および腹部データセットで Dice の顕著な改善を達成。

ABSTRACT

The Segment Anything Model (SAM) has recently emerged as a groundbreaking foundation model for prompt-driven image segmentation tasks. However, both the original SAM and its medical variants require slice-by-slice manual prompting of target structures, which directly increase the burden for applications. Despite attempts of auto-prompting to turn SAM into a fully automatic manner, it still exhibits subpar performance and lacks of reliability especially in the field of medical imaging. In this paper, we propose UR-SAM, an uncertainty rectified SAM framework to enhance the reliability for auto-prompting medical image segmentation. Building upon a localization framework for automatic prompt generation, our method incorporates a prompt augmentation module to obtain a series of input prompts for SAM for uncertainty estimation and an uncertainty-based rectification module to further utilize the distribution of estimated uncertainty to improve the segmentation performance. Extensive experiments on two public 3D medical datasets covering the segmentation of 35 organs demonstrate that without supplementary training or fine-tuning, our method further improves the segmentation performance with up to 10.7 % and 13.8 % in dice similarity coefficient, demonstrating efficiency and broad capabilities for medical image segmentation without manual prompting.

研究の動機と目的

• 信頼性のある自動的医用画像分割をプロンプト駆動モデルで実現する動機づけ。
• 不確実性推定を活用して高い曖昧さを持つ分割領域を特定・ rectify する。
• 医用データ上で SAM の性能を向上させるためのプロンプト拡張とクラス特異的信頼度メカニズムを開発。
• 頭頸部および腹部臓器をカバーする3D 医用データセットでフレームワークを検証。
• ファインチューニングなしのベースライン自動プロンプトと manual prompting との対比を示す優越性を実証。

提案手法

• SAM のための 3D バウンディングボックスプロンプトを自動生成するランドマーク局在モジュールを使用。
• 初期プロンプトを摂動で拡張して複数のプロンプトを作成し、分布状の分割出力を生成。
• 予測エントロピーを用いて多プロンプト出力からピクセルレベルの不確実性を推定。
• クラス特異的信頼度ベースの閾値を適用して高不確実性領域を選択し rectification を実施。
• 画像内の強度関係を活用して不確実領域を再割り当てすることで分割を rectify。
• StructSeg（HaN 臓器）と FLARE 22（腹部臓器）で SAM および MedSAM のバックボーンを用いて UR-SAM を評価。

実験結果

リサーチクエスチョン

• RQ1 追加訓練なしでプロンプト拡張と不確実性 rectification により SAM ベースの自動プロンプト化医用画像分割は改善されるか。
• RQ2 固定閾値補正戦略と比較して、クラス特異的不確実性ベースの rectification は医用データセットでどの程度効果的か。
• RQ3 UR-SAM は 3D CT データの小さな臓器と大きく複雑な臓器の分割精度にどのような影響を与えるか。
• RQ4 UR-SAM は auto-prompting の性能を manual prompting に近づけるか。
• RQ5 UR-SAM で base モデルとして SAM と MedSAM を用いた場合の影響はどうなるか。

主な発見

• UR-SAM は 3D 医用データセット上でベースライン自動プロンプトより分割性能を改善し、頭頸部分割で Dice が最大 10.7%、腹部分割で最大 13.8% の改善を達成。
• 摂動を伴うプロンプト拡張はロバスト性を高めるが、拡張数が多すぎたり摂動が過度だと性能が低下することがある。
• クラス特異的不確実性ベースのフィルタリングは、固定閾値アプローチおよびアンサンブル法を越えて安定して DSC を改善。
• UR-SAM は SAM および MedSAM バックボーンで自動プロンプトを上回り、いくつかのターゲットで manual prompting の性能に近づく。
• rectified 分割結果はアンサンブル結果に比べ誤りが減少しており、不確実性ベースの rectification の有効性を示す。
• MedSAM は unseen データセットで SAM より劣る可能性があり、UR-SAM の不確実性 rectification 戦略の価値を再確認。