[論文レビュー] Input Augmentation with SAM: Boosting Medical Image Segmentation with Segmentation Foundation Model

Yizhe Zhang, Tao Zhou+3 more|arXiv (Cornell University)|Apr 22, 2023

Advanced Neural Network Applications被引用数 10

ひとこと要約

SAMAug は SAM 由来のセグメンテーションと境界 priors を用いて医用画像入力を拡張し、SAM を再訓練せず downstream セグメンテーションモデルの精度を向上させ、ポリップ、細胞、腺のセグメンテーションタスクで利益を示す。

ABSTRACT

The Segment Anything Model (SAM) is a recently developed large model for general-purpose segmentation for computer vision tasks. SAM was trained using 11 million images with over 1 billion masks and can produce segmentation results for a wide range of objects in natural scene images. SAM can be viewed as a general perception model for segmentation (partitioning images into semantically meaningful regions). Thus, how to utilize such a large foundation model for medical image segmentation is an emerging research target. This paper shows that although SAM does not immediately give high-quality segmentation for medical image data, its generated masks, features, and stability scores are useful for building and training better medical image segmentation models. In particular, we demonstrate how to use SAM to augment image input for commonly-used medical image segmentation models (e.g., U-Net). Experiments on three segmentation tasks show the effectiveness of our proposed SAMAug method. The code is available at \url{https://github.com/yizhezhang2000/SAMAug}.

研究の動機と目的

• セグメンテーションの基盤モデルとしての SAM が医用画像セグメンテーションタスクに有用な priors を提供できることを動機づける。
• SAMAug を提案する。SAM の出力と生の医用画像を融合するシンプルな入力拡張手法。
• 三つの医用画像タスクにわたって、CNNおよびTransformerのセグメンテーションモデルで SAMAug の有効性を示す。
• 臨床設定における SAMAug の導入上の考慮事項と潜在的な拡張を提供する。

提案手法

• グリッドプロンプトを用いてSAMからセグメンテーション priors と境界 priors マップを計算する。
• prior マップを入力画像の追加チャネルとして加えることで SAMAug を作成する。
• 拡張データセット上で標準的な医用セグメンテーションモデルを単純な損失で訓練する。必要に応じて生データと拡張データの損失を組み合わせる。
• 推論時には、生データとSAM-拡張入力の出力をアンサンブルする、あるいはエントロピーベースの基準でより確信度の高い予測を選択することができる。

Figure 1: Input augmentation with SAM for boosting medical image segmentation.

実験結果

リサーチクエスチョン

• RQ1 入力拡張として使用した場合、SAM由来の priors および境界マップは下流の医用セグメンテーションモデルの性能を向上させることができるか？
• RQ2 SAMAug の改善はポリップ、細胞、腺のセグメンテーションベンチマーク全般に一般化するか？
• RQ3 推論時においてどのデプロイ戦略（アンサンブル vs 確信度による選択） が SAMAug を最も有効に活用できるか？

主な発見

モデル	SAMAug	AJI	Fスコア
Swin-UNet	✗	61.66	80.57
Swin-UNet	✓	64.30	82.36
U-Net	✗	58.36	75.70
U-Net	✓	63.98	82.56
P-Net	✗	59.46	77.09
P-Net	✓	63.15	81.49
Attention UNet	✗	58.76	75.43
Attention UNet	✓	63.15	81.49
—	—	—	—
—	—	—	—

• SAMAug はポリップデータセットに対して複数のアーキテクチャのセグメンテーション性能を向上させ、特に CVC-ClinicDB および CVC-ColonDB で顕著である。
• MoNuSeg では、Swin-UNet、U-Net、P-Net、Attention U-Net に対して AJI および F-score が向上し、定量的な利益を示す。
• GlaS 腺セグメンテーションでは、SAMAug を用いた U-Net が SAMAug なしより高い F-score および Object Dice を示す。
• データセットを横断して、SAMAug は下流モデルのベースライン CNN/Transformer のセグメンテーション性能を上回る意味的に有意な priors を提供する。
• 推論時の戦略（アンサンブルまたはエントロピーベースの選択）は、生データと拡張データの両方を活用してより頑健性を高めることができる。

Figure 2: Visual examples of a raw input image, its segmentation prior map by SAM, boundary prior map by SAM, and SAM-augmented image input (illustrated in Fig. 1 ). The image sample is from the MonuSeg dataset [ 12 ] .