[论文解读] Detecting, Localising and Classifying Polyps from Colonoscopy Videos using Deep Learning

Yu Tian, Leonardo Zorrón Cheng Tao Pu+7 more|arXiv (Cornell University)|Jan 9, 2021

Colorectal Cancer Screening and Detection参考文献 58被引用 11

一句话总结

本文提出一种深度学习系统，用于在结肠镜视频中实时检测、定位和分类息肉，采用少样本异常检测识别含息肉的帧，同时排除模糊图像、粪便和喷水等干扰因素。该方法通过不确定性估计和置信度校准，显著提升了准确率与可解释性，尤其在拒绝低置信度预测时表现更优。

ABSTRACT

In this paper, we propose and analyse a system that can automatically detect, localise and classify polyps from colonoscopy videos. The detection of frames with polyps is formulated as a few-shot anomaly classification problem, where the training set is highly imbalanced with the large majority of frames consisting of normal images and a small minority comprising frames with polyps. Colonoscopy videos may contain blurry images and frames displaying feces and water jet sprays to clean the colon -- such frames can mistakenly be detected as anomalies, so we have implemented a classifier to reject these two types of frames before polyp detection takes place. Next, given a frame containing a polyp, our method localises (with a bounding box around the polyp) and classifies it into five different classes. Furthermore, we study a method to improve the reliability and interpretability of the classification result using uncertainty estimation and classification calibration. Classification uncertainty and calibration not only help improve classification accuracy by rejecting low-confidence and high-uncertain results, but can be used by doctors to decide how to decide on the classification of a polyp. All the proposed detection, localisation and classification methods are tested using large data sets and compared with relevant baseline approaches.

研究动机与目标

• 开发一种自动化系统，用于在结肠镜视频中检测、定位和分类息肉，以支持早期结直肠癌诊断。
• 解决正常帧远多于含息肉帧的极端类别不平衡数据集挑战。
• 通过将分类不确定性与置信度校准整合到息肉分类流程中，提升系统可靠性与可解释性。
• 在息肉检测前，排除模糊图像、粪便和喷水等非息肉帧的假阳性结果。
• 通过实现术中准确的息肉分类，减少对术后组织病理学检查的依赖。

提出的方法

• 采用少样本异常检测框架（FSAD-Net）检测含息肉的帧，训练目标为最大化正常图像与其嵌入表示之间的互信息。
• 应用对异常鲁棒的分类器，在息肉检测前排除模糊、粪便或喷水的帧。
• 使用先进的目标检测架构，通过单阶段深度学习模型实现息肉的定位（边界框）与五类分类的同步处理。
• 采用贝叶斯与校准分类头，估计预测不确定性并提升校准效果，降低校准错误。
• 实施拒绝策略，剔除低置信度与高不确定性的预测，从而提升平均精度与准确率。
• 在澳大利亚与日本的大规模结肠镜数据集上，采用五折交叉验证进行系统评估，并开展严格的消融实验与基线方法对比。

实验结果

研究问题

• RQ1 在极端类别不平衡的情况下，少样本异常检测能否有效识别结肠镜视频中的含息肉帧？
• RQ2 如何有效排除粪便、喷水和模糊帧等非息肉干扰因素，以提升检测可靠性？
• RQ3 不确定性估计与置信度校准在多大程度上提升了息肉分类的准确率与可解释性？
• RQ4 与依赖人工标注息肉的方法相比，单阶段定位与分类模型的性能如何？
• RQ5 不确定性与校准的整合是否能减少校准错误，并提升临床部署中的鲁棒性？

主要发现

• FSAD-Net在结肠镜数据上实现了最先进的少样本异常检测性能，优于现有类别不平衡学习与异常检测方法。
• 不确定性估计与置信度校准的整合显著降低了期望校准误差（ECE）与平均校准误差（MCE），尤其对非贝叶斯模型效果更明显。
• 剔除最低置信度与最高不确定性的30%测试样本后，分类准确率最高提升49%，平均精度（AP）最高提升48%。
• 单阶段定位与分类模型表现出高精度，与使用人工检测息肉的方法相比，仅存在微小的准确率差距（主要源于定位错误）。
• 系统单张图像的检测与定位推理时间低于0.1秒，但置信度校准显著增加延迟（每张图像2.17秒），表明仍需优化。
• 该方法在跨域场景下具备合理的泛化能力，但未来需通过领域自适应与泛化技术提升零样本泛化性能。