[论文解读] Enhancing the Reliability of Segment Anything Model for Auto-Prompting Medical Image Segmentation with Uncertainty Rectification

Yichi Zhang, Shiyao Hu+4 more|arXiv (Cornell University)|Nov 17, 2023

Brain Tumor Detection and Classification被引用 8

一句话总结

UR-SAM 在 SAM 基础上通过提示增强和不确定性整 rectify 模块实现可靠的自动提示医学图像分割，无需额外训练。它在 3D HaN 和腹部数据集上取得显著的 Dice 提升。

ABSTRACT

The Segment Anything Model (SAM) has recently emerged as a groundbreaking foundation model for prompt-driven image segmentation tasks. However, both the original SAM and its medical variants require slice-by-slice manual prompting of target structures, which directly increase the burden for applications. Despite attempts of auto-prompting to turn SAM into a fully automatic manner, it still exhibits subpar performance and lacks of reliability especially in the field of medical imaging. In this paper, we propose UR-SAM, an uncertainty rectified SAM framework to enhance the reliability for auto-prompting medical image segmentation. Building upon a localization framework for automatic prompt generation, our method incorporates a prompt augmentation module to obtain a series of input prompts for SAM for uncertainty estimation and an uncertainty-based rectification module to further utilize the distribution of estimated uncertainty to improve the segmentation performance. Extensive experiments on two public 3D medical datasets covering the segmentation of 35 organs demonstrate that without supplementary training or fine-tuning, our method further improves the segmentation performance with up to 10.7 % and 13.8 % in dice similarity coefficient, demonstrating efficiency and broad capabilities for medical image segmentation without manual prompting.

研究动机与目标

• 用提示驱动模型实现可靠的自动医学图像分割的动机。
• 利用不确定性估计识别并整 rectify 高模糊分割区域。
• 开发提示增强与类别特异性置信机制以提升 SAM 在医学数据上的性能。
• 在覆盖头颈及腹部器官的 3D 医学数据集上验证框架。
• 证明相较基线自动提示的优势，并在不进行微调的情况下接近人工提示的效果。

提出的方法

• 使用地标定位模块自动为 SAM 生成三维边界框提示。
• 对初始提示进行扰动增强，生成多组提示并产生分布式分割输出。
• 利用预测熵从多提示输出中估计像素级不确定性。
• 应用类别特定的基于置信度的阈值筛选高不确定区域进行整 rectify。
• 通过利用图像内的强度关系来重新分配不确定区域以实现分割整 rectify。
• 在 StructSeg（HaN器官）和 FLARE 22（腹部器官）上对带 SAM 与 MedSAM 骨架的 UR-SAM 进行评估。

实验结果

研究问题

• RQ1 提示增强和不确定性整 rectify 能否在不额外训练的情况下改善基于 SAM 的医学图像分割的自动提示效果？
• RQ2 在医学数据集上，基于类别的不确定性整 rectify 与固定阈值的校正策略相比有何差异？
• RQ3 UR-SAM 在 3D CT 数据中对小型与大型/复杂器官的分割精度有何影响？
• RQ4 UR-SAM 能否使自动提示的性能更接近人工提示？
• RQ5 在 UR-SAM 中使用 SAM 与 MedSAM 作为基础模型的效果如何？

主要发现

• UR-SAM 在三维医学数据集上的分割性能优于基线自动提示，在头颈分割上 Dice 提升最高可达 10.7%，在腹部分割上最高可达 13.8%。
• 带扰动的提示增强带来鲁棒性提升，但受益在较少的增强次数后趋于稳定，过度扰动可能降低性能。
• 基于类别的不确定性筛选在所有数据集上均持续提升 DSC，相较固定阈值和集成方法表现更好。
• 在 SAM 与 MedSAM 骨架下的 UR-SAM 通常优于自动提示，在若干目标上接近人工提示的性能。
• 整 rectify 的分割结果相较于集成结果错误更少，凸显了基于不确定性整 rectify 的有效性。
• MedSAM 在未见数据集上可能表现不如 SAM，这进一步强调了 UR-SAM 不确定性整 rectify 策略的价值。