[論文レビュー] Segment Anything Model for Medical Images?

Yuhao Huang, Xin Yang+17 more|PubMed|Apr 28, 2023

Advanced Neural Network Applications被引用数 40

ひとこと要約

この研究は、Segment Anything Model (SAM) が医用画像セグメンテーションへ一般化する程度を、大規模な多モーダル COSMOS 1050K データセットで評価し、 prompting 戦略、モデルサイズ、ファインチューニングの効果を分析します。

ABSTRACT

The Segment Anything Model (SAM) is the first foundation model for general image segmentation. It has achieved impressive results on various natural image segmentation tasks. However, medical image segmentation (MIS) is more challenging because of the complex modalities, fine anatomical structures, uncertain and complex object boundaries, and wide-range object scales. To fully validate SAM's performance on medical data, we collected and sorted 53 open-source datasets and built a large medical segmentation dataset with 18 modalities, 84 objects, 125 object-modality paired targets, 1050K 2D images, and 6033K masks. We comprehensively analyzed different models and strategies on the so-called COSMOS 1050K dataset. Our findings mainly include the following: (1) SAM showed remarkable performance in some specific objects but was unstable, imperfect, or even totally failed in other situations. (2) SAM with the large ViT-H showed better overall performance than that with the small ViT-B. (3) SAM performed better with manual hints, especially box, than the Everything mode. (4) SAM could help human annotation with high labeling quality and less time. (5) SAM was sensitive to the randomness in the center point and tight box prompts, and may suffer from a serious performance drop. (6) SAM performed better than interactive methods with one or a few points, but will be outpaced as the number of points increases. (7) SAM's performance correlated to different factors, including boundary complexity, intensity differences, etc. (8) Finetuning the SAM on specific medical tasks could improve its average DICE performance by 4.39% and 6.68% for ViT-B and ViT-H, respectively. Codes and models are available at: https://github.com/yuhoo0302/Segment-Anything-Model-for-Medical-Images. We hope that this comprehensive report can help researchers explore the potential of SAM applications in MIS, and guide how to appropriately use and develop SAM.

研究の動機と目的

• SAM のゼロショットおよびプロンプトベースのセグメンテーション性能を、大規模で多様な医用画像データセットで評価する。
• モダリティ、境界の複雑さ、強度差を含む要因が SAM の医用オブジェクトにおける性能に与える影響を特定する。
• 異なるプロンプト（点、ボックス）とモデルサイズ（ViT-B 対 ViT-H）が MIS セグメンテーション品質に与える影響を評価する。
• 医用タスクに対する SAM のファインチューニングの利点と、モダリティ間の Dice スコアへの影響を調べる。
• 医用画像セグメンテーション（MIS）用の SAM の使用と開発に関するガイドラインを提供する。

提案手法

• COSMOS 1050K を、18 のモダリティと 84 オブジェクト、6 つのオブジェクト–モダリティターゲットを横断して53の公開 MIS データセットを統合して構築する。
• SAM 評価に適した標準化された PNG スライスと 6033K マスクを得るため、2D/3D データを前処理する。
• Unified な点/ボックス選択戦略を用いて、Everything モードと6つの manual prompt モード（1 点、5 点、5 ポジティブ + 5 ネガティブ、1 ボックス、1 ボックス + 1 点）で SAM を評価する。
• サイズに関連するパフォーマンスと安定性を評価するため、2 つの SAM バックボーン（ViT-B と ViT-H）を比較する。
• 各オブジェクトについて、推論出力を ground truth に合わせるため、マスク照合評価（予測マスク間で最高 Dice スコア）を適用する。
• マルチ戦略テスト中の冗長計算を削減するため、埋め込み再利用を組み込んだ推論効率の改善を報告する。

実験結果

リサーチクエスチョン

• RQ1 COSMOS 1050K に含まれる広範なモダリティとオブジェクトに対して、SAM は医用画像でどのように機能するか？
• RQ2 MIS において、異なる prompts（点 vs ボックス）とモデルサイズ（ViT-B vs ViT-H）がセグメンテーション品質にどのように影響するか？
• RQ3 医療データで SAM をファインチューニングすると、オブジェクトおよびモダリティ間の平均 Dice スコアを改善できるか？
• RQ4 SAM のセグメンテーション性能に最も影響を与えるオブジェクトと画像の特徴は何か（例：境界の複雑さ、強度差、サイズ）？

主な発見

• SAM は MIS の一部のオブジェクトでは強い性能を示すが、他のオブジェクトでは不安定または失敗することがある。
• ViT-H は全体的な性能で通常 ViT-B を上回り、特にプロンプトが多い場合に顕著である。
• Everything モードよりも、手動プロンプト（特にボックスプロンプト）の方が MIS タスクで良い結果を生む。
• SAM は人間のアノテーションを補助し、ラベリング品質を向上させ、作業時間を短縮できる。
• 医療タスクへのファインチューニングは平均 Dice を 4.39%（ViT-B）と 6.68%（ViT-H）向上させる。
• SAM の性能は中心点のランダム性やタイトなボックスプロンプトに敏感で、これら条件下では大幅な低下が生じる可能性がある。