[论文解读] Can SAM Segment Polyps?

Tao Zhou, Yizhe Zhang+3 more|arXiv (Cornell University)|Apr 15, 2023

Radiomics and Machine Learning in Medical Imaging被引用 9

一句话总结

论文在五个结肠镜数据集上对未提示下的 Segment Anything Model (SAM) 进行息肉分割评估，发现 SAM 相较于最先进的息肉分割模型表现较差；在任务特定数据上对 SAM 进行微调可能改善结果。

ABSTRACT

Recently, Meta AI Research releases a general Segment Anything Model (SAM), which has demonstrated promising performance in several segmentation tasks. As we know, polyp segmentation is a fundamental task in the medical imaging field, which plays a critical role in the diagnosis and cure of colorectal cancer. In particular, applying SAM to the polyp segmentation task is interesting. In this report, we evaluate the performance of SAM in segmenting polyps, in which SAM is under unprompted settings. We hope this report will provide insights to advance this polyp segmentation field and promote more interesting works in the future. This project is publicly at https://github.com/taozh2017/SAMPolyp.

研究动机与目标

• 评估 SAM 在未提示模式下在结肠镜图像中分割息肉的能力，以及是否需要用户提示。
• 在多项基准上将 SAM 与最先进的基于 CNN/Transformer 的息肉分割模型进行比较。
• 分析定性分割示例，以识别 SAM 在医学影像中的优点与失败模式。
• 为将来在息肉分割中应用 SAM 以及潜在的微调策略提供指导。

提出的方法

• 使用两种 backbone（SAM-H 和 SAM-L）在五个数据集上对息肉进行分割。
• 用六个指标评估分割性能：mDice、mIoU、S_alpha、F_beta^w、E_phi^max 和 M。
• 通过最大化与真值对齐的 S_alpha，从 SAM 在每张图像的多输出中选择最佳掩模。
• 在每个数据集上将 SAM 与 14 个基于 CNN 的模型和两个基于 Transformer 的模型进行比较。
• 提供对成功与失败的 SAM 分割的定性可视化。
• 讨论一种潜在的微调方法以提升息肉分割性能。

实验结果

研究问题

• RQ1 在未提示模式下，SAM 能否在标准结肠镜基准上获得具有竞争力的息肉分割性能？
• RQ2 在不同数据集上，SAM 与公认的基于 CNN/Transformer 的息肉分割方法相比如何？
• RQ3 在结肠镜图像中对息肉进行分割时，SAM 常见的失败模式是什么？
• RQ4 在息肉特定数据集上对 SAM 进行微调是否会提高分割性能？

主要发现

• 在未提示设置下，SAM 并未在所测试的数据集上超越专用的息肉分割模型。
• 在如 CVC-ClinicDB、Kvasir、CVC-ColonDB、ETIS 和 CVC-300 等数据集上，SAM 的变体在多项指标上均低于最先进的方法。
• 定性结果显示 SAM 能较好地分割某些息肉，但当息肉边界模糊或相对于周围粘膜不清晰时会遇到困难。
• 失败案例表明在用自然图像语料训练时，SAM 在医学图像分割中的局限性。
• 作者建议在任务特定的息肉数据集上对 SAM 进行微调，可能比零-shot 使用获得更好的分割性能。