[论文解读] COTR: Convolution in Transformer Network for End to End Polyp Detection

Zhi-Qiang Shen, Chaonan Lin+1 more|arXiv (Cornell University)|May 23, 2021

Radiomics and Machine Learning in Medical Imaging被引用 4

一句话总结

本文提出COTR，一种新型端到端息肉检测模型，通过在Transformer编码器模块中集成卷积层，加速收敛并提升特征重建能力。在ETIS-LARIB和CVC-ColonDB数据集上评估，COTR在ETIS-LARIB上取得91.49%的精确率、82.69%的召回率和86.87%的F1分数，在CVC-ColonDB上取得91.67%的精确率、93.54%的召回率和92.60%的F1分数，展现出无需手工预处理或后处理步骤的最先进性能。

ABSTRACT

Purpose: Colorectal cancer (CRC) is the second most common cause of cancer mortality worldwide. Colonoscopy is a widely used technique for colon screening and polyp lesions diagnosis. Nevertheless, manual screening using colonoscopy suffers from a substantial miss rate of polyps and is an overwhelming burden for endoscopists. Computer-aided diagnosis (CAD) for polyp detection has the potential to reduce human error and human burden. However, current polyp detection methods based on object detection framework need many handcrafted pre-processing and post-processing operations or user guidance that require domain-specific knowledge. Methods: In this paper, we propose a convolution in transformer (COTR) network for end-to-end polyp detection. Motivated by the detection transformer (DETR), COTR is constituted by a CNN for feature extraction, transformer encoder layers interleaved with convolutional layers for feature encoding and recalibration, transformer decoder layers for object querying, and a feed-forward network for detection prediction. Considering the slow convergence of DETR, COTR embeds convolution layers into transformer encoder for feature reconstruction and convergence acceleration. Results: Experimental results on two public polyp datasets show that COTR achieved 91.49\% precision, 82.69% sensitivity, and 86.87% F1-score on the ETIS-LARIB, and 91.67% precision, 93.54% sensitivity, and 92.60% F1-score on the CVC-ColonDB. Conclusion: This study proposed an end to end detection method based on detection transformer for colorectal polyp detection. Experimental results on ETIS-LARIB and CVC-ColonDB dataset demonstrated that the proposed model achieved comparable performance against state-of-the-art methods.

研究动机与目标

• 为解决结肠镜检查中息肉漏检率高和工作负担重的问题，开发一种端到端计算机辅助诊断（CAD）系统用于息肉检测。
• 解决标准Transformer在应用于息肉检测时收敛缓慢且特征组织能力差的问题，尤其是在数据量有限且复杂的息肉数据集上。
• 消除现有目标检测框架中对手工预处理和后处理操作（如锚框生成和非极大值抑制）的依赖。
• 提升对具有多样化纹理、形状和与背景组织低对比度的息肉的检测鲁棒性。

提出的方法

• COTR采用CNN主干网络从结肠镜图像中进行初始特征提取。
• 将卷积层与Transformer编码器层交错排列，以重建高层图像特征并稳定训练动态。
• 模型使用带有可学习对象查询的Transformer解码器，直接预测边界框和类别得分。
• 前馈网络从解码器输出生成最终的检测预测。
• 将卷积模块融入Transformer编码器，相比标准DETR，有助于保留空间结构并加速收敛。
• 采用AdamW优化器进行端到端训练，总训练轮数为300轮，并使用数据增强以提升泛化能力。

实验结果

研究问题

• RQ1 基于Transformer的目标检测器是否能在不依赖手工组件的情况下，在端到端息肉检测中实现具有竞争力的性能？
• RQ2 在Transformer编码器中插入卷积层对息肉检测中的收敛速度和特征表示有何影响？
• RQ3 所提出的COTR模型是否在公开息肉检测基准上优于现有最先进方法？
• RQ4 该模型是否能有效检测因低对比度和不规则形状而具有挑战性的小型或扁平息肉？

主要发现

• 在ETIS-LARIB数据集上，COTR取得91.49%的精确率、82.69%的召回率和86.87%的F1分数，其精确率和F1分数优于大多数现有方法。
• 在CVC-ColonDB数据集上，COTR取得91.67%的精确率、93.54%的召回率和92.60%的F1分数，在该基准上创下新的最先进性能记录。
• COTR的训练损失收敛速度明显快于DETR，证实编码器中引入卷积层可通过保留空间特征结构来提升收敛速度。
• COTR在检测具有不同纹理、形状和颜色的息肉方面表现出鲁棒性，包括小型息肉，尽管在部分扁平息肉上因置信度预测较低而偶有困难。
• 该模型在包括残留液体或低对比度背景等多样结肠镜条件下的表现稳定。
• 消融实验证实，将卷积集成到Transformer编码器中对于加速收敛和提升检测精度至关重要。