[論文レビュー] Generalist Vision Foundation Models for Medical Imaging: A Case Study of Segment Anything Model on Zero-Shot Medical Segmentation

Peilun Shi, Jianing Qiu+4 more|arXiv (Cornell University)|Apr 25, 2023

Retinal Imaging and Analysis被引用数 4

ひとこと要約

本研究は、OCT、MRI、CT、皮膚鏡画像を含む9つの多様な医用画像ベンチマークにおいて、Segment Anything Model (SAM) のゼロショットセグメンテーション性能を評価する。一般ドメインでの強力な性能にもかかわらず、SAMは医用画像ではゼロショット能力が限定的であり、特に血管のような構造的ターゲットでは顕著に劣る。一方、少量のデータで微調整を行うと著しい性能向上が得られ、SAMが適応後には医用画像セグメンテーションにおいて強いポentialを示すことが明らかになった。

ABSTRACT

In this paper, we examine the recent Segment Anything Model (SAM) on medical images, and report both quantitative and qualitative zero-shot segmentation results on nine medical image segmentation benchmarks, covering various imaging modalities, such as optical coherence tomography (OCT), magnetic resonance imaging (MRI), and computed tomography (CT), as well as different applications including dermatology, ophthalmology, and radiology. Those benchmarks are representative and commonly used in model development. Our experimental results indicate that while SAM presents remarkable segmentation performance on images from the general domain, its zero-shot segmentation ability remains restricted for out-of-distribution images, e.g., medical images. In addition, SAM exhibits inconsistent zero-shot segmentation performance across different unseen medical domains. For certain structured targets, e.g., blood vessels, the zero-shot segmentation of SAM completely failed. In contrast, a simple fine-tuning of it with a small amount of data could lead to remarkable improvement of the segmentation quality, showing the great potential and feasibility of using fine-tuned SAM to achieve accurate medical image segmentation for a precision diagnostics. Our study indicates the versatility of generalist vision foundation models on medical imaging, and their great potential to achieve desired performance through fine-turning and eventually address the challenges associated with accessing large and diverse medical datasets in support of clinical diagnostics.

研究の動機と目的

• 一般視覚基盤モデルであるSegment Anything Model (SAM) の多様な医用画像タスクにおけるゼロショットセグメンテーション性能を評価すること。
• 微調整なしで分布外の医用画像に一般化する際のSAMの限界を特定すること。
• 少量の医用データでSAMを微調整することで、セグメンテーション精度が著しく向上するかどうかを評価すること。
• 複数の医用画像モダリティおよび応用分野にわたる、SAMの標準的かつ包括的なベンチマークを提供すること。
• 将来的な臨床診断用一般視覚基盤モデルの開発を支援するため、主な課題と機会を同定すること。

提案手法

• 各マスクの重心をプロンプト入力として使用し、標準化されたプロンプトプロトコルに従ってSAMを評価した。
• 各プロンプトに対してSAMが生成する3つの候補出力のうち、スコアが最も高いものを評価対象とした。
• 一貫性のあるパフォーマンス評価を確保するため、1台のNVIDIA RTX 3080 GPUに公式のViT-Hチェックポイントを適用した。
• 全医用ベンチマークにおいて、定量的比較の主な指標としてDice係数を用いた。
• 微調整による性能向上を評価するため、網膜血管セグメンテーションデータを用いてSAMの予備的微調整を実施した。
• 皮膚鏡画像、眼科、放射線、病理画像をカバーするOCT、MRI、CT、内 endoscopy を含む9つのデータセットでSAMを評価した。

実験結果

リサーチクエスチョン

• RQ1 微調整なしで、多様な医用画像モダリティにおいてSAMはどの程度ゼロショットセグメンテーションを達成できるか？
• RQ2 特に分岐構造を持つ血管のような複雑な解剖学的構造に対して、SAMが医用画像に適用された際の失敗モードは何か？
• RQ3 少量の医用データでSAMを微調整することで、ゼロショットベースラインと比較して、どの程度性能が向上するか？
• RQ4 SAMのゼロショット性能は、最先端のドメイン特化型医用画像セグメンテーションモデルと定量的に比較してどの程度か？
• RQ5 プロンプト工学と入力表現は、SAMのような基盤モデルが医用画像に一般化する際に果たす役割は何か？

主な発見

• SAMは、非医用画像（例：木の枝）を含む、エンドスコピーおよび皮膚鏡画像において、他のモダリティよりも優れたゼロショット性能を示した。これは、これらの画像がSAMの事前学習データに含まれる自然なRGB画像に類似しているためと推定される。
• SAMは、ゼロショットモード下で、血管のような連続的で分岐構造を持つ画像を完全にセグメンテーションできなかった。
• SAMのゼロショットDiceスコアは、最先端の医用画像セグメンテーションモデルと比較して0.1～0.4の差があり、最悪の場合には0.65の差が生じた。
• 少量の網膜血管データでSAMを微調整した結果、セグメンテーション品質が著しく向上した。これは、適応後のSAMの強い潜在的性能を示している。
• ゼロショットSAMとSOTAモデルとの間の性能格差は、一般ドメイン基盤モデルを医用画像に直接転送する際の限界を浮き彫りにしている。
• 本研究では、プロンプトの一貫性と入力表現が極めて重要であることが判明した。重心ベースのプロンプトは、しばしば領域内に存在しないため、評価の信頼性に影響を及ぼすことがある。