[論文レビュー] Segment Anything Model for Medical Image Analysis: an Experimental Study

Maciej A. Mazurowski, Haoyu Dong+4 more|arXiv (Cornell University)|Apr 20, 2023

Advanced Neural Network Applications被引用数 13

ひとこと要約

本論文は Segment Anything Model (SAM) を用いて、モダリティを超えた19の医用画像データセットでゼロショット分割性能と相互作用モードを評価し、他のインタラクティブ法と比較し、プロンプト戦略を詳述する。

ABSTRACT

Training segmentation models for medical images continues to be challenging due to the limited availability of data annotations. Segment Anything Model (SAM) is a foundation model that is intended to segment user-defined objects of interest in an interactive manner. While the performance on natural images is impressive, medical image domains pose their own set of challenges. Here, we perform an extensive evaluation of SAM's ability to segment medical images on a collection of 19 medical imaging datasets from various modalities and anatomies. We report the following findings: (1) SAM's performance based on single prompts highly varies depending on the dataset and the task, from IoU=0.1135 for spine MRI to IoU=0.8650 for hip X-ray. (2) Segmentation performance appears to be better for well-circumscribed objects with prompts with less ambiguity and poorer in various other scenarios such as the segmentation of brain tumors. (3) SAM performs notably better with box prompts than with point prompts. (4) SAM outperforms similar methods RITM, SimpleClick, and FocalClick in almost all single-point prompt settings. (5) When multiple-point prompts are provided iteratively, SAM's performance generally improves only slightly while other methods' performance improves to the level that surpasses SAM's point-based performance. We also provide several illustrations for SAM's performance on all tested datasets, iterative segmentation, and SAM's behavior given prompt ambiguity. We conclude that SAM shows impressive zero-shot segmentation performance for certain medical imaging datasets, but moderate to poor performance for others. SAM has the potential to make a significant impact in automated medical image segmentation in medical imaging, but appropriate care needs to be applied when using it.

研究の動機と目的

• 広範な医用画像データセットに対する SAM のゼロショット分割性能を評価する。
• プロンプト戦略（ポイント vs ボックス）とプロンプトの反復が SAM の性能に与える影響を特徴づける。
• RITM、SimpleClick、FocalClick など他のインタラクティブ分割法とタスクを横断して SAM を比較する。
• プロンプトの曖昧さの影響と医用画像アプリケーションへの実用的な使用モードを特定する。

提案手法

• MRI、CT、X線、超音波、PET にまたがる19の公開医用画像データセットで SAM を評価する。
• 5つの非反復プロンプトモード（ポイントまたはボックス）と、ユーザー相互作用を模擬する反復プロンプト方式を定義する。
• IoU を主要な精度指標として用い、オラクル性能を上限代理として用いる。
• 非反復プロンプトと反復プロンプトの両方で、SAM を RITM、SimpleClick、FocalClick と比較する。
• segment-everything モードとオブジェクトサイズが性能に与える影響を分析する。
• 定性的なビジュアル化を提供し、プロンプトの曖昧さの影響を議論する。

Figure 1 : Examples of prompt(s) generated by the five modes respectively. Green contours show the ground-truth masks, and blue star(s) and box(es) indicate the prompts.

実験結果

リサーチクエスチョン

• RQ1 多様なモダリティと解剖学的構成に跨る医用画像に対して、ゼロショット分割で SAM はどのように性能を示すか。
• RQ2 医用オブジェクト（複数部構造を含む）に対して、どのプロンプト戦略（ポイント vs ボックス）とモードが最良の SAM 性能を生み出すか。
• RQ3 単一プロンプトおよび複数プロンプトの下で、SAM は他のインタラクティブ分割法とどのように比較されるか。
• RQ4 反復プロンプトは特に複数部を持つオブジェクトや曖昧なプロンプトの場合に、SAM の性能を著しく改善するか。
• RQ5 医用画像の注釈付けとモデル学習への SAM の組み込みにおいて、どのような実際的な使用モードが現れるか。

主な発見

• 28件のタスクにおける SAM の性能は大きくばらつき、IoU は 0.1135（脊椎 MRI）から 0.8650（股関節 X 線）まで。
• ボックスプロンプトはポイントプロンプトを上回り、モード4（各オブジェクト部位ごとに1つのボックス）がタスク横断で最も高い平均 IoU 0.6542 を達成。
• シングルポイントプロンプト設定では一般に SAM は RITM、SimpleClick、FocalClick を上回り、オラクルモードでは 28 タスク中 26 で SAM が首位。
• 反復プロンプトは SAM には限定的な効果しかなく、SimpleClick と RITM は追加のポイントでより改善し、場合によっては SAM を上回る。
• SAM は一部データセットでゼロショットの潜在能力を示すが、他は中程度から低い性能であり、慎重な使用と適切なプロンプト戦略が必要であることを示している。
• プロンプトの曖昧さは複数の出力を生む可能性があり、SAM の高信頼度マップは領域増分分割された領域に似る傾向がある一方、低信頼度の出力はよりばらつく。

Figure 2 : Performance of SAM under 5 modes of use. Left: Performance of SAM across 28 segmentation tasks, with results ranked in descending order based on Mode 4. Oracle performance for each mode is indicated by the inverted triangle. Right: A summarized performance comparison of all five modes acr