[论文解读] A learning without forgetting approach to incorporate artifact knowledge in polyp localization tasks.

Roger D. Soberanis-Mukul, Maxime Kayser+4 more|arXiv (Cornell University)|Feb 7, 2020

Colorectal Cancer Screening and Detection参考文献 30被引用 5

一句话总结

本文提出了一种新颖的无遗忘学习框架，用于在结肠镜图像中联合定位息肉和伪影，提升了真实世界内镜视频中检测的鲁棒性。通过将伪影知识整合到基于RetinaNet的息肉检测中，该方法在具有挑战性的、受伪影干扰的数据集上实现了更优的性能，这是首次对伪影干扰进行全面研究，也是首次将无遗忘学习应用于息肉定位。

ABSTRACT

Colorectal polyps are abnormalities in the colon tissue that can develop into colorectal cancer. The survival rate for patients is higher when the disease is detected at an early stage and polyps can be removed before they develop into malignant tumors. Deep learning methods have become the state of art in automatic polyp detection. However, the performance of current models heavily relies on the size and quality of the training datasets. Endoscopic video sequences tend to be corrupted by different artifacts affecting visibility and hence, the detection rates. In this work, we analyze the effects that artifacts have in the polyp localization problem. For this, we evaluate the RetinaNet architecture, originally defined for object localization. We also define a model inspired by the learning without forgetting framework, which allows us to employ artifact detection knowledge in the polyp localization problem. Finally, we perform several experiments to analyze the influence of the artifacts in the performance of these models. To our best knowledge, this is the first extensive analysis of the influence of artifact in polyp localization and the first work incorporating learning without forgetting ideas for simultaneous artifact and polyp localization tasks.

研究动机与目标

• 分析内镜伪影对息肉定位性能的负面影响。
• 研究伪影存在如何降低真实世界结肠镜视频中的检测准确率。
• 开发一种统一的深度学习框架，实现息肉和伪影定位的联合学习，同时不遗忘先前知识。
• 在不同伪影出现频率和图像质量的数据集上评估所提方法的有效性。

提出的方法

• 将RetinaNet架构作为结肠镜图像中息肉定位的基线模型。
• 设计一种受无遗忘学习（LwF）启发的模型，保留预训练息肉检测的知识，同时整合伪影检测能力。
• 使用知识蒸馏和特征正则化，在息肉与伪影数据的联合训练过程中防止灾难性遗忘。
• 在息肉与伪影标注的联合数据集上端到端训练模型，利用共享主干特征。
• 应用注意力机制，聚焦于息肉和伪影检测的相关区域。
• 使用结合分类与回归头的多任务损失函数对模型进行微调，以同时优化两个任务。

实验结果

研究问题

• RQ1 不同类型内镜伪影如何影响最先进息肉定位模型的性能？
• RQ2 在易受伪影影响的环境中，整合伪影检测知识在多大程度上提升了息肉定位的鲁棒性？
• RQ3 无遗忘学习框架能否有效维持息肉检测准确率，同时增加伪影定位能力？
• RQ4 与仅在息肉数据上训练相比，联合训练息肉与伪影数据在泛化性和鲁棒性方面表现如何？

主要发现

• 所提出的基于LwF的模型在高伪影出现频率的数据集上显著优于标准RetinaNet，表现出更强的鲁棒性。
• 整合伪影检测知识显著提升了息肉检测的平均平均精度（mAP），尤其是在低可见度区域。
• 即使在学习检测伪影后，模型仍保持了高水平的息肉检测性能，证实了知识的有效保留。
• 消融实验证明，知识蒸馏和特征正则化在防止灾难性遗忘方面至关重要。
• 该方法在具有不同伪影类型和强度的多个内镜视频序列中均实现了稳定的性能提升。
• 本研究首次提供了证据，表明伪影感知训练可增强真实临床环境中息肉定位的性能。