[論文レビュー] Zero-shot performance of the Segment Anything Model (SAM) in 2D medical imaging: A comprehensive evaluation and practical guidelines

Christian Mattjie, Luís Vinícius de Moura+5 more|arXiv (Cornell University)|Apr 28, 2023

Artificial Intelligence in Healthcare and Education被引用数 6

ひとこと要約

本論文は、X線、超音波、皮膚鏡、大腸内視鏡の4つのモダリティにまたがる6つのデータセットを対象として、2次元医療画像におけるSegment Anything Model (SAM) のゼロショット性能を評価する。本研究では、バウンディングボックスプロンプトから開始し、ポイントプロンプトで改善するという実用的で最小限のインタラクションを要するプロンプトフレームワークを提案する。このフレームワークにより、微調整なしに最先端または優れた結果が得られ、SAMの強力な一般化性能と臨床的有用性が示された。

ABSTRACT

Segmentation in medical imaging is a critical component for the diagnosis, monitoring, and treatment of various diseases and medical conditions. Presently, the medical segmentation landscape is dominated by numerous specialized deep learning models, each fine-tuned for specific segmentation tasks and image modalities. The recently-introduced Segment Anything Model (SAM) employs the ViT neural architecture and harnesses a massive training dataset to segment nearly any object; however, its suitability to the medical domain has not yet been investigated. In this study, we explore the zero-shot performance of SAM in medical imaging by implementing eight distinct prompt strategies across six datasets from four imaging modalities, including X-ray, ultrasound, dermatoscopy, and colonoscopy. Our findings reveal that SAM's zero-shot performance is not only comparable to, but in certain cases, surpasses the current state-of-the-art. Based on these results, we propose practical guidelines that require minimal interaction while consistently yielding robust outcomes across all assessed contexts. The source code, along with a demonstration of the recommended guidelines, can be accessed at https://github.com/Malta-Lab/SAM-zero-shot-in-Medical-Imaging.

研究の動機と目的

• 異なる2次元医療画像モダリティにおけるSegment Anything Model (SAM) のゼロショット一般化能力を評価すること。
• 最小限のユーザーインタラクションで分類精度を最大化する効果的なプロンプト戦略を同定すること。
• 医師が臨床ワークフローにSAMを適用するための実用的で実行可能なガイドラインを提供すること。
• 微調整なしに、既存の最先端モデルを上回るか同等の性能をSAMが示すかどうかを評価すること。
• SAMが生成するマスクが、マニュアルのグランドトゥースアノテーションの品質と効率を向上させる可能性を調査すること。

提案手法

• 本研究では、6つの医療画像データセットを対象に、バウンディングボックス、複数のポイント、およびその組み合わせを含む8種類の異なるプロンプト戦略を用いる。
• SAMは、医療データに対する微調整なしに、元のViTベースのアーキテクチャと事前学習済み重みを用いてゼロショット推論を実行する。
• すべてのデータセットおよびプロンプト戦略において、Dice、IoU、DSCといった標準的な指標を用いて分類性能を評価する。
• 提案されたフレームワークは、バウンディングボックスプロンプトから開始し、最も良い予測を選択し、誤りを是正するためにポイントプロンプト（ポジティブまたはネガティブ）を用いて改善する。
• 本手法は、SAMの高容量なビジョントランスフォーマーを活用し、1つのプロンプトに対して複数の候補マスクを生成することで、最も正確な出力を選択可能にする。
• 再現性および臨床統合を可能にするために、デモンストレーションとソースコードを公開する。

Figure 1: Samples from each of the six datasets used in this study. A: ISIC, B: HAM, C: CXR, D: HJXR, E: CVC, F: BUSI.

実験結果

リサーチクエスチョン

• RQ1 SAMは、いかなる微調整なしに2次元医療画像で競争力あるか、あるいは優れた分類性能を達成できるか？
• RQ2 バウンディングボックス、ポイント、ハイブリッドのうち、どのプロンプト戦略が多様な医療画像モダリティにわたって最も強固で正確な結果をもたらすか？
• RQ3 特に医療画像分類に特化して訓練された最先端モデルと比較して、SAMのゼロショット性能はどの程度優れているか？
• RQ4 SAMが生成するマスクは、マニュアルのグランドトゥースアノテーションの品質と効率をどの程度向上させられるか？
• RQ5 最小限のインタラクションを要するプロンプトフレームワークは、さまざまな臨床的画像コンテキストにおいて一貫して高品質な分類を生成できるか？

主な発見

• SAMは、微調整なしにBUSIデータセットで最先端の性能を達成し、既存の手法を顕著に上回った。
• モデルはX線、超音波、皮膚鏡、大腸内視鏡の4つの異なる医療画像モダリティにわたって、強力なゼロショット一般化性能を示した。
• バウンディングボックスから開始し、ポイントプロンプトで改善するという提案されたプロンプトフレームワークは、最小限のユーザーインタラクションで一貫して高品質な分類を達成した。
• 一部のケースでは、SAMの予測がグランドトゥースよりも正確であったため、マニュアルアノテーションの品質と効率を向上させる可能性が示された。
• SAMの3種類のViTサイズ（スモール、ベース、ラージ）は、ほぼ同等の性能を示したため、計算リソースの制約に応じて選択可能である。
• このフレームワークにより、医師は最良の予測を選択し、数個のポイントプロンプトでの微調整のみで正確な分類を達成でき、臨床応用の可能性が示された。

Figure 2: Example of all prompt strategies on a skin lesion image and mask. (A): original image, (B): CP, (C): RP, (D): RP3, (E): RP5, (F): BB in green, BBS5 in red, BBS10 in blue, and BBS20 in yellow. The size and position shown are their max variation for BBS methods.