[论文解读] A Comprehensive Study on Colorectal Polyp Segmentation with ResUNet++, Conditional Random Field and Test-Time Augmentation

Debesh Jha, Pia H. Smedsrud+5 more|arXiv (Cornell University)|Jul 26, 2021

Colorectal Cancer Screening and Detection参考文献 60被引用 9

一句话总结

该论文提出了一种改进的ResUNet++架构用于结直肠息肉分割，通过集成条件随机场（CRF）和测试时增强（TTA）技术，提升了分割精度，尤其在小尺寸和扁平息肉上表现显著。该方法在六个公开数据集上均达到最先进性能，显著增强了跨数据集泛化能力，并在具有临床意义的难检息肉类型上表现出更强鲁棒性。

ABSTRACT

Colonoscopy is considered the gold standard for detection of colorectal cancer and its precursors. Existing examination methods are, however, hampered by high overall miss-rate, and many abnormalities are left undetected. Computer-Aided Diagnosis systems based on advanced machine learning algorithms are touted as a game-changer that can identify regions in the colon overlooked by the physicians during endoscopic examinations, and help detect and characterize lesions. In previous work, we have proposed the ResUNet++ architecture and demonstrated that it produces more efficient results compared with its counterparts U-Net and ResUNet. In this paper, we demonstrate that further improvements to the overall prediction performance of the ResUNet++ architecture can be achieved by using conditional random field and test-time augmentation. We have performed extensive evaluations and validated the improvements using six publicly available datasets: Kvasir-SEG, CVC-ClinicDB, CVC-ColonDB, ETIS-Larib Polyp DB, ASU-Mayo Clinic Colonoscopy Video Database, and CVC-VideoClinicDB. Moreover, we compare our proposed architecture and resulting model with other State-of-the-art methods. To explore the generalization capability of ResUNet++ on different publicly available polyp datasets, so that it could be used in a real-world setting, we performed an extensive cross-dataset evaluation. The experimental results show that applying CRF and TTA improves the performance on various polyp segmentation datasets both on the same dataset and cross-dataset.

研究动机与目标

• 提升深度学习模型在临床环境中对结直肠息肉分割的鲁棒性与泛化能力。
• 解决小尺寸、扁平及无蒂息肉漏诊率高的问题——这些是结肠镜检查中诊断疏漏的主要原因。
• 评估CRF与TTA作为后处理与推理时技术在息肉分割性能上的有效性。
• 通过多样化的公开息肉数据集验证模型的跨数据集泛化能力。
• 提供一种具有临床相关性、数据高效且支持结肠镜术中实时辅助的解决方案。

提出的方法

• 提出ResUNet++作为新型编码器-解码器架构，结合残差块、空洞空间金字塔池化（ASPP）与注意力机制，以提升特征学习能力。
• 将条件随机场（CRF）作为后处理步骤，通过强制空间一致性与减少噪声来优化分割掩码。
• 在推理阶段使用测试时增强（TTA），通过聚合输入图像多种增强版本的预测结果来提升模型鲁棒性。
• 在六个公开数据集上进行模型训练与评估：Kvasir-SEG、CVC-ClinicDB、CVC-ColonDB、ETIS-Larib、ASU-Mayo与CVC-VideoClinicDB。
• 开展广泛的跨数据集评估以检验泛化能力，包括在Kvasir-SEG与CVC-ClinicDB上训练并在五个独立数据集上测试。
• 从Kvasir-SEG中提取196个直径小于10 mm的扁平或无蒂息肉组成精选子集，用于对难检测息肉的针对性评估。

实验结果

研究问题

• RQ1 CRF与TTA的集成是否能显著提升ResUNet++在结直肠息肉数据集上的分割性能？
• RQ2 所提出方法在来自不同临床环境的数据集之间是否具备良好的泛化能力？
• RQ3 该模型是否在小尺寸、扁平及无蒂息肉上表现出更优性能——这些息肉在临床实践中常被遗漏？
• RQ4 CRF与TTA单独及联合使用对分割精度与鲁棒性的具体影响如何？
• RQ5 该模型是否能在具有挑战性的低对比度或含伪影的内镜图像上保持高性能？

主要发现

• ResUNet++结合CRF与TTA在所有六个评估数据集上均达到最先进性能，Dice分数与IoU显著提升。
• ResUNet++ + TTA变体在跨数据集泛化方面表现最强，优于其他配置，在ETIS-Larib与CVC-VideoClinicDB等未见数据集上表现更优。
• 该模型在扁平与小尺寸息肉（≤10 mm）检测上表现卓越，这些息肉在临床实践中传统上易被漏诊，其在196个难检病例子集上的召回率与F1分数均有显著提升。
• TTA在所有数据集上均带来一致的性能增益，表明其在推理阶段应对分布偏移方面具有高度有效性。
• CRF改善了边界定位并减少了噪声预测，尤其对边界不规则或模糊的息肉具有显著优势。
• 跨数据集评估结果表明，基于Kvasir-SEG或CVC-ClinicDB训练的模型能良好泛化至其他数据集，显示出强大的鲁棒性与临床应用潜力。