[論文レビュー] Computer-Vision Benchmark Segment-Anything Model (SAM) in Medical Images: Accuracy in 12 Datasets

Sheng He, Rina Bao+5 more|arXiv (Cornell University)|Apr 18, 2023

Radiomics and Machine Learning in Medical Imaging被引用数 65

ひとこと要約

この研究は公的な医療画像分割データセット12件でゼロショットSAMを評価し、SAMがデータセット特異的な5つの医用分割モデルと比較して性能が劣ることを示し、次元、ターゲットサイズ、コントラストなどの要因によって性能が影響を受けることを示唆する。

ABSTRACT

Background: The segment-anything model (SAM), introduced in April 2023, shows promise as a benchmark model and a universal solution to segment various natural images. It comes without previously-required re-training or fine-tuning specific to each new dataset. Purpose: To test SAM's accuracy in various medical image segmentation tasks and investigate potential factors that may affect its accuracy in medical images. Methods: SAM was tested on 12 public medical image segmentation datasets involving 7,451 subjects. The accuracy was measured by the Dice overlap between the algorithm-segmented and ground-truth masks. SAM was compared with five state-of-the-art algorithms specifically designed for medical image segmentation tasks. Associations of SAM's accuracy with six factors were computed, independently and jointly, including segmentation difficulties as measured by segmentation ability score and by Dice overlap in U-Net, image dimension, size of the target region, image modality, and contrast. Results: The Dice overlaps from SAM were significantly lower than the five medical-image-based algorithms in all 12 medical image segmentation datasets, by a margin of 0.1-0.5 and even 0.6-0.7 Dice. SAM-Semantic was significantly associated with medical image segmentation difficulty and the image modality, and SAM-Point and SAM-Box were significantly associated with image segmentation difficulty, image dimension, target region size, and target-vs-background contrast. All these 3 variations of SAM were more accurate in 2D medical images, larger target region sizes, easier cases with a higher Segmentation Ability score and higher U-Net Dice, and higher foreground-background contrast.

研究の動機と目的

• Segment Anything Model (SAM) のゼロショット精度を12の公開医用画像分割データセットで評価する。
• SAMを最新の、データセット特異的な医用分割アルゴリズムと比較する。
• SAMの医用画像における分割精度に影響を与える要因を調査する（次元、ターゲット領域のサイズ、コントラスト、モダリティ等）。
• 医用画像でどのプロンプトモード（SAM-Semantic、SAM-Point、SAM-Box）がより良い結果をもたらすかを分析する。

提案手法

• いかなる医療データセットにも再訓練や微調整を行わず、3つのプロンプトモード（SAM-Semantic、SAM-Point、SAM-Box）でSAMを適用する。
• Dice重なりを精度指標として用い、10個の臓器と6つの画像モダリティをカバーする12の公開データセットでSAMを評価する。
• 各データセットで訓練された5つの最先端医用画像分割モデル（U-Net、U-Net++、Attention U-Net、Trans U-Net、UCTransNet）とSAMのバリアントを比較する。
• 3D画像を2Dスライスの連続として扱い、スライスの結果を結合して被験者レベルのDiceスコアを得る。
• 単因子および多因子分析を用いて、SAM精度と6つの潜在要因（Segmentation Ability score、U-Net Dice、画像次元、ターゲット領域のサイズ、モダリティ、コントラスト）の関連を計算する。
• 6つの要因の結合効果を評価するために一般化線形モデル（GLM）を使用する。

実験結果

リサーチクエスチョン

• RQ1 ゼロショットのSAMは、専門の医用分割モデルと比較して12データセットでどのように性能を発揮するか？
• RQ2 SAMのプロンプトモード（Semantic、Point、Box）のうち、医用画像でより高い精度を示すのはどれか？
• RQ3 難易度、次元、ターゲットサイズ、コントラスト、モダリティなど、医用画像におけるSAMの分割精度に有意な影響を与える要因は何か？
• RQ4 多因子モデルは多様なデータセットを横断してSAMのDice性能を説明できるか？

主な発見

データ	U-Net	U-Net++	Attention U-Net	Trans U-Net	UCTransNet	SAM-Semantic	SAM-Point	SAM-Box
X-ray	95.83 ± 2.64	95.63 ± 2.80	95.78 ± 2.69	95.74 ± 2.87	95.56 ± 2.86	54.12 ± 9.88	60.52 ± 8.39	46.85 ± 12.62
LiTS	95.95 ± 1.64	96.12 ± 1.49	96.04 ± 1.60	96.02 ± 1.44	95.57 ± 1.70	48.15 ± 7.90	33.72 ± 6.58	22.76 ± 16.09
ACDC	93.60 ± 3.10	94.19 ± 2.97	93.59 ± 3.59	93.69 ± 2.79	92.97 ± 4.10	68.20 ± 18.53	41.34 ± 28.43	32.25 ± 15.60
Hippo	91.02 ± 2.28	91.09 ± 2.42	91.06 ± 2.33	91.02 ± 2.39	90.97 ± 2.38	16.83 ± 4.04	23.68 ± 3.57	27.86 ± 6.25
ISIC	89.18 ± 11.94	89.02 ± 12.55	89.12 ± 12.46	89.56 ± 12.71	88.92 ± 13.04	53.67 ± 29.36	61.25 ± 28.17	43.72 ± 27.63
Prostate	88.06 ± 3.45	88.49 ± 3.49	88.40 ± 3.42	87.96 ± 3.54	87.02 ± 3.69	35.15 ± 20.16	54.86 ± 22.10	39.92 ± 7.27
LA	90.29 ± 4.05	90.85 ± 4.09	90.84 ± 3.42	90.83 ± 3.45	88.80 ± 5.78	10.28 ± 6.85	26.88 ± 12.33	29.98 ± 6.08
BraTS	84.62 ± 9.80	85.06 ± 9.59	84.37 ± 10.13	85.04 ± 9.37	84.33 ± 9.55	23.49 ± 8.39	27.87 ± 10.97	15.86 ± 15.56
Pancreas	77.75 ± 7.85	78.08 ± 7.82	78.81 ± 7.62	78.34 ± 7.67	73.71 ± 9.09	4.64 ± 1.46	5.45 ± 2.16	5.47 ± 4.96
BUID	72.57 ± 28.51	73.76 ± 28.03	72.12 ± 28.98	76.08 ± 25.44	73.23 ± 27.97	53.76 ± 33.22	33.40 ± 32.01	26.06 ± 25.38
Kvasir	74.14 ± 26.72	75.91 ± 25.82	72.71 ± 28.58	77.12 ± 22.65	73.53 ± 27.13	64.17 ± 28.50	54.35 ± 30.97	33.86 ± 29.33
CIR	65.76 ± 23.84	65.19 ± 24.35	63.73 ± 25.78	67.33 ± 22.09	65.10 ± 23.77	22.11 ± 27.39	41.67 ± 30.80	31.07 ± 24.73

• SAMは全12データセットで5つの医用画像専用アルゴリズムに対して劣る。Diceのギャップは0.1–0.5の範囲で、場合によっては0.6–0.7に達する。
• SAM-Semantic、SAM-Point、SAM-Boxは性能にばらつきがあるが、3Dおよび小さな・低コントラスト領域で特にU-Netベース手法より精度が低い。
• SAMのDiceは分割難易度（U-Net Diceで測定）と相関し、2D画像・大きなターゲット領域・前景と背景のコントラストが高い場合に高くなる。
• 2D画像（皮膚鏡検査、内視鏡検査、X線）と大きいターゲット領域はSAMの性能を向上させる。3D画像および小さく低コントラストなターゲットは課題をもたらす。
• 結合GLM分析は、六つの要因がSAM Diceスコアの予測力を有意に持つことを確認した（p < 2.2e-16）。
• 本研究は、医用画像用にSAMを適応させるため、医用データでの微調整や医用画像専用のベンチマークモデルの開発を提案している。