[论文解读] A Benchmark for Endoluminal Scene Segmentation of Colonoscopy Images

David Vázquez, Jorge Bernal+6 more|arXiv (Cornell University)|Dec 2, 2016

Colorectal Cancer Screening and Detection被引用 5

一句话总结

本文提出了一项大规模、公开可用的结肠镜图像内腔场景分割基准，包含对黏膜腔、黏膜、息肉和反光高光的标注。该研究提出全卷积网络（FCNs）作为新的最先进基线模型，在无需后处理的情况下，显著优于以往方法，在语义分割和息肉定位任务中表现优异，证明了深度学习在处理结肠镜检查中反光等挑战性条件下的鲁棒性。

ABSTRACT

Colorectal cancer (CRC) is the third cause of cancer death worldwide. Currently, the standard approach to reduce CRC-related mortality is to perform regular screening in search for polyps and colonoscopy is the screening tool of choice. The main limitations of this screening procedure are polyp miss-rate and inability to perform visual assessment of polyp malignancy. These drawbacks can be reduced by designing Decision Support Systems (DSS) aiming to help clinicians in the different stages of the procedure by providing endoluminal scene segmentation. Thus, in this paper, we introduce an extended benchmark of colonoscopy image, with the hope of establishing a new strong benchmark for colonoscopy image analysis research. We provide new baselines on this dataset by training standard fully convolutional networks (FCN) for semantic segmentation and significantly outperforming, without any further post-processing, prior results in endoluminal scene segmentation.

研究动机与目标

• 解决结肠镜图像分割领域缺乏大规模、公开可用且标注良好的数据集的问题。
• 建立一个具有统一评估指标的标准化基准，以加速内腔场景分割领域的研究进展。
• 利用全卷积网络（FCNs）为结肠镜图像语义分割提供强有力的深度学习基线。
• 评估FCNs在分割关键解剖结构（黏膜腔、息肉、黏膜、反光高光）方面的有效性，以及其作为息肉检测代理指标的实用性。
• 证明深度学习方法相较于传统手工设计方法的优越性，尤其是在处理反光高光和形态多变的息肉方面。

提出的方法

• 作者将两个现有的结肠镜数据集（Bernal et al., 2012, 2015）合并，构建了一个扩展基准，包含1,000张图像，其中新增了400张标注图像。
• 标注类别扩展为四类：黏膜腔（蓝色）、背景/黏膜（红色）、息肉（绿色）和反光高光（黄色）。
• 建立了标准的训练/验证/测试划分，以确保可复现性和公平比较。
• 使用标准交叉熵损失，端到端训练全卷积网络（FCNs），具体为FCN8模型，用于语义分割任务。
• 采用标准评估指标进行模型评估：平均交并比（mIoU）、各类别IoU，以及基于IoU阈值的息肉定位率。
• 将息肉定位性能作为检测任务的代理指标，通过预测与真实息肉掩码之间的IoU进行评估。

实验结果

研究问题

• RQ1 一个大规模、公开可用且标注丰富的基准是否能够提升结肠镜图像分割研究的性能与可复现性？
• RQ2 与以往方法相比，全卷积网络在分割结肠镜图像中多种解剖结构（黏膜腔、息肉、黏膜、反光高光）方面的表现如何？
• RQ3 深度学习模型（如FCNs）在处理反光高光等挑战性视觉伪影方面，相较于传统手工设计方法的优越程度如何？
• RQ4 基于IoU的定位准确率衡量，语义分割方法是否可作为有效的息肉检测代理？
• RQ5 减少输出类别数量（如合并黏膜腔与黏膜）是否能提升分割鲁棒性与定位性能？

主要发现

• 所提出的基准包含1,000张标注的结肠镜图像，涵盖四种类别，为未来内腔场景分割研究提供了标准化基础。
• FCN8模型在测试集上达到86.7%的平均IoU，显著优于以往最先进方法，且无需任何后处理。
• 该模型对反光高光表现出强鲁棒性，息肉分割性能未受影响，而传统手工设计方法则表现下降。
• 在50% IoU阈值下，FCN8模型的息肉定位率比先前最先进方法（bernal2014polyp）高出40%。
• 使用更少类别（如2或3类）训练的模型表现出更高的IoU与定位性能，表明类别简化可提升分割稳定性。
• 基于FCN的方法实现了接近实时推理，凸显其在临床决策支持系统（DSS）中集成的潜力。