[论文解读] Generalist Vision Foundation Models for Medical Imaging: A Case Study of Segment Anything Model on Zero-Shot Medical Segmentation

Peilun Shi, Jianing Qiu+4 more|arXiv (Cornell University)|Apr 25, 2023

Retinal Imaging and Analysis被引用 4

一句话总结

本研究评估了通用视觉基础模型 Segment Anything Model (SAM) 在涵盖OCT、MRI、CT和皮肤镜成像的九种不同医学影像基准上的零样本分割性能。尽管在通用领域表现强劲，SAM在医学影像上的零样本能力有限，尤其是在血流等结构化目标上表现不佳；然而，通过少量数据微调可实现显著性能提升，表明SAM在适配后在医学分割领域具有巨大潜力。

ABSTRACT

In this paper, we examine the recent Segment Anything Model (SAM) on medical images, and report both quantitative and qualitative zero-shot segmentation results on nine medical image segmentation benchmarks, covering various imaging modalities, such as optical coherence tomography (OCT), magnetic resonance imaging (MRI), and computed tomography (CT), as well as different applications including dermatology, ophthalmology, and radiology. Those benchmarks are representative and commonly used in model development. Our experimental results indicate that while SAM presents remarkable segmentation performance on images from the general domain, its zero-shot segmentation ability remains restricted for out-of-distribution images, e.g., medical images. In addition, SAM exhibits inconsistent zero-shot segmentation performance across different unseen medical domains. For certain structured targets, e.g., blood vessels, the zero-shot segmentation of SAM completely failed. In contrast, a simple fine-tuning of it with a small amount of data could lead to remarkable improvement of the segmentation quality, showing the great potential and feasibility of using fine-tuned SAM to achieve accurate medical image segmentation for a precision diagnostics. Our study indicates the versatility of generalist vision foundation models on medical imaging, and their great potential to achieve desired performance through fine-turning and eventually address the challenges associated with accessing large and diverse medical datasets in support of clinical diagnostics.

研究动机与目标

• 评估通用视觉基础模型 Segment Anything Model (SAM) 在多样化医学影像任务中的零样本分割性能。
• 识别SAM在未见医学影像上直接泛化时的局限性，而无需微调。
• 评估使用少量医学数据对SAM进行微调是否能显著提升其分割精度。
• 提供SAM在多种医学影像模态和应用场景下的标准化、全面基准测试。
• 通过识别关键挑战与机遇，为未来通用视觉基础模型在临床诊断中的发展提供指导。

提出的方法

• 采用标准化提示协议评估SAM：对于每个真实标注掩码中的实例，使用掩码的质心作为提示输入。
• 从每个提示对应的SAM三个候选输出中选择得分最高的结果用于评估。
• 在单张NVIDIA RTX 3080 GPU上使用SAM的官方ViT-H检查点，以确保性能评估的一致性。
• 使用Dice系数作为所有医学基准中定量比较的主要指标。
• 对视网膜血管分割数据集进行了初步微调，以评估适应带来的性能提升。
• 在涵盖皮肤镜、眼科、放射学和病理学的九个数据集中评估SAM，覆盖OCT、MRI、CT和内窥镜成像。

实验结果

研究问题

• RQ1 SAM在未进行任何微调的情况下，其在多样化医学影像模态中的零样本分割性能如何？
• RQ2 当应用于医学影像时，SAM在处理复杂解剖结构（如分支状血管）时的失败模式是什么？
• RQ3 与零样本基线相比，使用少量医学数据对SAM进行微调能在多大程度上提升其分割性能？
• RQ4 SAM的零样本性能与当前最先进的领域特定医学分割模型相比，定量上如何？
• RQ5 提示工程和输入表示在基础模型（如SAM）向医学影像泛化过程中的作用是什么？

主要发现

• SAM在内窥镜和皮肤镜图像上的零样本性能优于其他模态，可能是因为这些图像与SAM预训练数据中的自然RGB图像更为相似。
• 在零样本模式下，SAM完全无法分割连续分支结构（如血管），无论是在医学图像还是非医学图像（如树枝）中均表现失败。
• SAM的零样本Dice分数始终低于当前最先进的医学分割模型0.1–0.4，最坏情况下差距高达0.65。
• 在小规模视网膜血管数据集上对SAM进行微调后，分割质量得到显著提升，表明其具备强大的适应潜力。
• SAM与SOTA模型之间的性能差距凸显了直接从通用领域基础模型向医学影像迁移的局限性。
• 本研究揭示，提示一致性和输入表示是关键因素，因为基于质心的提示有时会落在感兴趣区域之外，从而影响评估的可靠性。