[論文レビュー] When SAM Meets Medical Images: An Investigation of Segment Anything Model (SAM) on Multi-phase Liver Tumor Segmentation

Chuanfei Hu, Xia, Tianyi+2 more|arXiv (Cornell University)|Apr 17, 2023

Machine Learning and Data Classification被引用数 37

ひとこと要約

多段階肝腫瘍分割における Segment Anything Model (SAM) を評価し、さまざまなプロンプト、解像度、およびフェーズ集約において SAM の分割性能は U-Net に比べ限定的であることを示すが、SAM を強力な対話的アノテーションツールとして強調している。

ABSTRACT

Learning to segmentation without large-scale samples is an inherent capability of human. Recently, Segment Anything Model (SAM) performs the significant zero-shot image segmentation, attracting considerable attention from the computer vision community. Here, we investigate the capability of SAM for medical image analysis, especially for multi-phase liver tumor segmentation (MPLiTS), in terms of prompts, data resolution, phases. Experimental results demonstrate that there might be a large gap between SAM and expected performance. Fortunately, the qualitative results show that SAM is a powerful annotation tool for the community of interactive medical image segmentation.

研究の動機と目的

• MPLiTS における SAM のゼロショット分割能力を評価する。
• プロンプト、データ解像度、および多相集約が SAM の性能に与える影響を調査する。
• SAM のバリアント (ViT-B, ViT-L, ViT-H) を従来の U-Net ベースラインと比較する。
• MPLiTS における効率的な対話的アノテーションのための SAM の活用ガイダンスを提供する。

提案手法

• 社内の MPLiTS データセットを用い、388 例の患者と 1552 の多相 CECT ボリューム（NC、ART、PV、DE）。
• 異なるプロンプト P および解像度 R の下で、2 種の相-集約モード M（avg, max）にわたり SAM バリアント（ViT-B, ViT-L, ViT-H）を評価する。
• スライスごとに分割精度指標として Dice global score (DGS) を計算する。
• 多相結果のために SAM 出力の最良腫瘍マスクを選択する。
• 性能差を評価するために SAM の結果を U-Net ベースラインと比較する。
• アノテーションの有用性を示す結果の定性的視覚化を提示する。

実験結果

リサーチクエスチョン

• RQ1 プロンプトポイント数 (P) は MPLiTS における SAM の分割精度にどう影響するか？
• RQ2 画像解像度 (R) は多相肝腫瘍分割における SAM の性能にどのような影響を与えるか？
• RQ3 異なる相-集約戦略（avg 対 max）は SAM の多相分割の結果を改善するか？
• RQ4 MPLiTS における SAM と U-Net ベースラインの比較はどうで、SAM は医用画像分割のアノテーションツールとして効果的に機能するか？

主な発見

• プロンプトポイント数 P を増やすと一般に SAM の性能が向上する。
• より大きな画像解像度 R は一貫して SAM の性能を向上させず、いくつかの設定で低下させることもある。
• Max 集約 (max) は構成を問わず avg より良い結果を示すことが多いが、少数のプロンプトでの U-Net との大きなギャップは依然として残る。
• 十分な人の指示下では、SAM はアノテーションツールとして強い潜在力を示す（例: P = 20）、生の分割性能が専門モデルに及ばなくても。
• 全体として、SAM は期待される MPLiTS の性能にはまだ達していない可能性があるが、効率的な対話型アノテーションには依然有用である。