[论文解读] False Negative/Positive Control for SAM on Noisy Medical Images

Xing Yao, Han Liu+10 more|arXiv (Cornell University)|Aug 20, 2023

Medical Image Segmentation Techniques被引用 5

一句话总结

本文提出一种测试阶段提示增强方法，结合蒙特卡洛边界框采样与基于似然不确定性的假阴性/假阳性校正（FNPC），在无需微调的情况下提升分割一切模型（SAM）在噪声多、对比度低的超声图像上的性能。该方法增强了零样本分割对提示质量差异的鲁棒性与泛化能力，在肾脏与胎盘超声数据集上取得最先进结果，并通过SS2V框架实现仅用一个2D边界框完成3D分割。

ABSTRACT

The Segment Anything Model (SAM) is a recently developed all-range foundation model for image segmentation. It can use sparse manual prompts such as bounding boxes to generate pixel-level segmentation in natural images but struggles in medical images such as low-contrast, noisy ultrasound images. We propose a refined test-phase prompt augmentation technique designed to improve SAM's performance in medical image segmentation. The method couples multi-box prompt augmentation and an aleatoric uncertainty-based false-negative (FN) and false-positive (FP) correction (FNPC) strategy. We evaluate the method on two ultrasound datasets and show improvement in SAM's performance and robustness to inaccurate prompts, without the necessity for further training or tuning. Moreover, we present the Single-Slice-to-Volume (SS2V) method, enabling 3D pixel-level segmentation using only the bounding box annotation from a single 2D slice. Our results allow efficient use of SAM in even noisy, low-contrast medical images. The source code will be released soon.

研究动机与目标

• 解决SAM在噪声多、对比度低的医学超声图像上表现不佳的问题，其中标准提示会导致假阴性和假阳性结果。
• 在不需额外训练或像素级标注的情况下，提升零样本分割对提示粗略程度（如不精确边界框）的鲁棒性。
• 开发一种利用不确定性估计在推理阶段纠正SAM预测分割错误的方法。
• 通过单张2D边界框标注，利用单一切片到体积（SS2V）方法，将2D分割扩展至3D。
• 在真实世界医学影像任务（如肾脏与胎盘超声分割）中，验证该方法在多种提示质量水平下的有效性。

提出的方法

• 对初始提示周围应用蒙特卡洛采样，生成N+1个边界框，约束在半径R = (1/M) × min(BB edges)范围内，以模拟人工标注的变异性。
• 利用多个采样边界框的预测结果计算平均分割掩码，通过集成预测中的似然不确定图估计不确定性。
• 实施两阶段阈值策略：首先应用全局不确定性阈值（T_UC）识别低置信度区域；随后使用独立的高低阈值（T_FNh, T_FPl, T_FPh, T_FPl）对平均掩码中的假阴性和假阳性区域进行校正。
• 将FNPC策略集成至推理流程中，以在预测后优化SAM输出，无需重新训练或微调。
• 开发单一切片到体积（SS2V）方法：基于单个参考切片的预测掩码，在3D体积中生成合成2D边界框，实现仅用一个手动标注完成完整3D分割。
• 利用参考切片的FNPC校正掩码，指导相邻切片中合成边界框的生成，保持一致性并减少误差传播。

实验结果

研究问题

• RQ1 结合多框提示增强与基于不确定性的校正，是否能显著减少SAM在噪声超声图像分割中产生的假阴性和假阳性区域？
• RQ2 与标准SAM和简单平均法相比，所提出的FNPC方法在提示质量变化（精细、中等、粗略边界框）下的鲁棒性如何？
• RQ3 在SS2V方法下，仅用一个2D边界框标注，能在多大程度上实现对体积超声数据中准确的3D像素级分割？
• RQ4 在推理阶段集成似然不确定估计，是否能在不增加模型训练的前提下提升分割的可靠性和性能？
• RQ5 所提出方法是否能在不同医学影像任务（如肾脏与胎盘）中泛化，并在低对比度、噪声环境下保持高性能？

主要发现

• 在肾脏超声分割中，FNPC在所有提示等级（精细、中等、粗略）下均取得0.88 ± 0.04的Dice分数，优于SAM（0.87–0.77）和平均法（0.87–0.70），且从精细到粗略提示的性能下降极小。
• 在胎盘分割中，FNPC取得0.78 ± 0.08的Dice分数，显著优于SAM（0.71 ± 0.24）和平均法（0.70 ± 0.17），HD降低52%（3.49 vs. 3.87），ASSD降低54%（0.55 vs. 1.21）。
• SS2V方法在仅使用一个2D边界框的情况下，胎盘3D分割的Dice分数达到0.72 ± 0.17，接近FNPC的性能（0.78 ± 0.08），表明其在3D体积中具有强大泛化能力。
• FNPC方法表现出极强的鲁棒性：Dice分数在精细、中等和粗略提示下均稳定在0.88，而SAM的Dice分数从0.90降至0.77，表明对提示不精确具有高度抗性。
• 基于不确定性的校正策略有效减少了假阳性和假阴性——图3中的绿色和橙色箭头已可视化——证实FNPC能有效优化模糊预测。
• 在中心切片上进行超参数调优，得到最优阈值：胎盘为T_UC = 0.2，M = 4，N = 30，T_FNl = T_FPl = 70，T_FNh = T_FPh = 200；肾脏为T_FNh = T_FPh = 20，表明阈值选择具有任务特异性。