[论文解读] A Survey on Deep Learning for Polyp Segmentation: Techniques, Challenges and Future Trends

Jiaxin Mei, Tao Zhou+5 more|arXiv (Cornell University)|Nov 30, 2023

Colorectal Cancer Screening and Detection被引用 7

一句话总结

本综述全面回顾了基于深度学习的息肉分割方法，对24种最先进模型在不同息肉大小和网络架构下的表现进行了评估。研究识别出关键挑战，如标注数据有限、边界模糊和领域偏移，并提出未来研究方向，包括跨领域泛化、实时推理以及用于隐私保护模型训练的联邦学习。

ABSTRACT

Early detection and assessment of polyps play a crucial role in the prevention and treatment of colorectal cancer (CRC). Polyp segmentation provides an effective solution to assist clinicians in accurately locating and segmenting polyp regions. In the past, people often relied on manually extracted lower-level features such as color, texture, and shape, which often had issues capturing global context and lacked robustness to complex scenarios. With the advent of deep learning, more and more outstanding medical image segmentation algorithms based on deep learning networks have emerged, making significant progress in this field. This paper provides a comprehensive review of polyp segmentation algorithms. We first review some traditional algorithms based on manually extracted features and deep segmentation algorithms, then detail benchmark datasets related to the topic. Specifically, we carry out a comprehensive evaluation of recent deep learning models and results based on polyp sizes, considering the pain points of research topics and differences in network structures. Finally, we discuss the challenges of polyp segmentation and future trends in this field. The models, benchmark datasets, and source code links we collected are all published at https://github.com/taozh2017/Awesome-Polyp-Segmentation.

研究动机与目标

• 系统回顾传统与基于深度学习的息肉分割技术。
• 评估24种代表性深度学习模型在不同息肉大小下的性能表现。
• 分析基准数据集，识别数据多样性与标注质量方面的不足。
• 识别持续存在的挑战，如领域偏移、实时推理以及小/大息肉分割问题。
• 提出未来研究方向，包括跨领域适应、轻量化模型与联邦学习。

提出的方法

• 将息肉分割方法分类为传统方法（手工设计特征）与基于深度学习的方法。
• 利用新构建的数据集对24种深度学习模型进行全面评估，以实现基于大小的性能分析。
• 分析各模型的网络架构、损失函数与数据增强策略。
• 根据息肉大小（小、中、大）评估模型性能，识别与尺寸相关的局限性。
• 调研并总结公开可用的基准数据集，包括其标注信息、分辨率与临床相关性。
• 探索新兴技术，如注意力机制、多尺度特征融合与基于Transformer的架构。

实验结果

研究问题

• RQ1 不同深度学习架构在不同息肉大小下的表现如何？
• RQ2 当前息肉分割模型在真实临床环境中的关键局限性是什么？
• RQ3 如何缓解不同影像中心之间存在的领域偏移问题？
• RQ4 在实时临床部署中，模型精度与推理速度之间的权衡是什么？
• RQ5 隐私保护训练方法（如联邦学习）如何提升跨机构模型的泛化能力？

主要发现

• 由于空间分辨率有限且边界模糊，模型在小息肉上的性能显著下降。
• 基于Transformer的模型（如Polyp-PVT与HSNet）在复杂息肉形状与边界定位方面表现更优。
• 跨领域泛化仍是主要挑战，基于某一中心数据训练的模型在其他中心数据上表现欠佳。
• 轻量化高效架构（如CFA-Net与浅层注意力网络）在保持可接受准确率的同时实现了实时推理。
• 采用颜色替换数据增强可降低模型对颜色统计的依赖，提升鲁棒性。
• 联邦学习与互原型自适应方法在不共享原始患者数据的前提下，展现出缓解领域偏移的潜力。