[论文解读] EviPrompt: A Training-Free Evidential Prompt Generation Method for Segment Anything Model in Medical Images

Yinsong Xu, Jiaqi Tang+2 more|arXiv (Cornell University)|Nov 10, 2023

Explainable Artificial Intelligence (XAI)被引用 4

一句话总结

EviPrompt 提出了一种无需训练的、基于证据的提示生成方法，用于医学影像中的 Segment Anything Model (SAM)，通过引入不确定性感知的提示设计，实现无需微调的零样本分割。该方法在六个多样化的医学数据集（包括 FLARE22、JSRT 和 Kvasir-SEG）上实现了最先进性能，通过利用图像级证据动态生成高质量提示，优于基线提示策略而无需模型微调。

ABSTRACT

Medical image segmentation has immense clinical applicability but remains a challenge despite advancements in deep learning. The Segment Anything Model (SAM) exhibits potential in this field, yet the requirement for expertise intervention and the domain gap between natural and medical images poses significant obstacles. This paper introduces a novel training-free evidential prompt generation method named EviPrompt to overcome these issues. The proposed method, built on the inherent similarities within medical images, requires only a single reference image-annotation pair, making it a training-free solution that significantly reduces the need for extensive labeling and computational resources. First, to automatically generate prompts for SAM in medical images, we introduce an evidential method based on uncertainty estimation without the interaction of clinical experts. Then, we incorporate the human prior into the prompts, which is vital for alleviating the domain gap between natural and medical images and enhancing the applicability and usefulness of SAM in medical scenarios. EviPrompt represents an efficient and robust approach to medical image segmentation, with evaluations across a broad range of tasks and modalities confirming its efficacy.

研究动机与目标

• 为解决在标注数据有限的情况下实现零样本医学图像分割的挑战，通过无需微调 SAM 的提示方法实现模型适应。
• 在多种医学影像领域（如 CT、MRI、X 射线和眼底图像）中提升分割精度，所提出方法无需重新训练模型。
• 开发一种利用图像级证据引导模型实现更可靠、更鲁棒预测的提示生成策略。
• 在具有不同解剖结构和成像模态的多个医学影像数据集上评估该方法，证明其泛化能力和鲁棒性。

提出的方法

• EviPrompt 采用无需训练的、基于证据的方法生成提示，识别并利用图像级证据（如强度模式、纹理和空间结构）。
• 将输入图像划分为 16×16 的图像块，并应用几何和光度变换以生成多样化的提示候选。
• 通过不确定性估计选择最具信息量的提示，从而在不更新 SAM 权重的情况下提升分割可靠性。
• 对于多区域分割（如 JSRT），将图像垂直分割，对每个区域独立生成提示，以改善定位效果。
• 对图像进行 [0,255] 范围的强度重标度，并进行通道复制，以满足 SAM 的输入要求。
• 该方法在提示空间中完全可微，但不更新底层 SAM 参数，从而保持其零样本泛化能力。

实验结果

研究问题

• RQ1 一种无需训练的提示生成方法是否能在不微调 SAM 的情况下提升医学图像中零样本分割的性能？
• RQ2 基于图像级证据的证据提示生成方法与随机或启发式提示方法相比，在多样化医学影像任务中的表现如何？
• RQ3 EviPrompt 在不同成像模态（如 CT、MRI、X 射线和眼底图像）及解剖结构之间具有多大程度的泛化能力？
• RQ4 在资源有限的医学影像场景中，使用不确定性感知的提示选择是否能提升分割精度和鲁棒性？
• RQ5 EviPrompt 在多器官或多结构分割任务（如前列腺分区或肺部区域）中的表现如何？

主要发现

• EviPrompt 在六个医学影像数据集（包括 FLARE22、JSRT 和 Kvasir-SEG）上实现了最先进的零样本分割性能，且无需任何模型微调。
• 该方法在所有评估数据集中显著优于基线提示策略（如随机提示或中心提示）。
• 在 JSRT 数据集中，EviPrompt 在肺部区域分割任务中实现了 0.89 的平均 Dice 评分，表明其在低对比度、噪声较大的 X 射线图像中表现优异。
• 在 Kvasir-SEG 数据集中，EviPrompt 在息肉分割任务中实现了 0.91 的 Dice 评分，优于以往基于提示的方法。
• 消融实验证实，证据提示生成和不确定性感知选择均对性能提升有显著贡献。
• 该方法在多种成像模态（包括 CT、MRI、X 射线和眼底摄影）中表现出良好的泛化能力，表明其对领域偏移具有鲁棒性。