[论文解读] ColonFormer: An Efficient Transformer based Method for Colon Polyp Segmentation

Nguyen Thanh Duc, Thi-Oanh Nguyen+3 more|arXiv (Cornell University)|May 17, 2022

Colorectal Cancer Screening and Detection被引用 4

一句话总结

ColonFormer 是一种新颖的、高效的基于 Transformer 的编码器-解码器网络，用于结肠息肉分割，结合了轻量级分层 Transformer 编码器以实现多尺度全局特征学习，以及基于 CNN 的分层解码器和使用残差连接的轴向注意力的精炼模块，以提高边界精度。它在五个基准数据集上实现了最先进性能，在 mDice 和 mIOU 指标上均优于现有方法。

ABSTRACT

Identifying polyps is challenging for automatic analysis of endoscopic images in computer-aided clinical support systems. Models based on convolutional networks (CNN), transformers, and their combinations have been proposed to segment polyps with promising results. However, those approaches have limitations either in modeling the local appearance of the polyps only or lack of multi-level features for spatial dependency in the decoding process. This paper proposes a novel network, namely ColonFormer, to address these limitations. ColonFormer is an encoder-decoder architecture capable of modeling long-range semantic information at both encoder and decoder branches. The encoder is a lightweight architecture based on transformers for modeling global semantic relations at multi scales. The decoder is a hierarchical network structure designed for learning multi-level features to enrich feature representation. Besides, a refinement module is added with a new skip connection technique to refine the boundary of polyp objects in the global map for accurate segmentation. Extensive experiments have been conducted on five popular benchmark datasets for polyp segmentation, including Kvasir, CVC-Clinic DB, CVC-ColonDB, CVC-T, and ETIS-Larib. Experimental results show that our ColonFormer outperforms other state-of-the-art methods on all benchmark datasets.

研究动机与目标

• 解决现有息肉分割模型的局限性，这些模型要么仅关注局部特征，要么缺乏多层级空间依赖性建模。
• 提高分割精度，特别是针对因对比度差和形状不规则而常模糊的息肉边界。
• 开发一种高效架构，在高性能与降低计算成本之间实现平衡，以利于临床部署。
• 通过自注意力实现全局上下文建模，并结合分层特征学习，以在多样的成像条件下实现鲁棒的息肉检测。

提出的方法

• 编码器采用轻量级分层 Transformer 架构，以捕捉输入图像中多尺度的全局语义关系。
• 解码器采用类似 UPer 的金字塔结构，并结合分层特征融合，以丰富多层级表征，提升空间理解能力。
• 引入一种新颖的精炼模块，结合轴向注意力与残差连接，以迭代方式优化分割图并提升边界精度。
• 模型采用混合编码器-解码器设计，结合 Transformer 的全局建模能力与 CNN 的归纳偏置，以增强特征学习。
• 精炼模块采用跳跃连接机制，将粗粒度预测结果反向传播回网络，以纠正边界误差。
• 架构经过效率优化，消融实验表明，与基于 MLP 的解码器相比，UPer 解码器可将 GFLOPs 降低 30% 以上。

实验结果

研究问题

• RQ1 轻量级基于 Transformer 的编码器能否有效建模长距离依赖性和多尺度特征，以实现结肠息肉分割？
• RQ2 与标准解码器相比，分层 CNN 解码器的集成在特征表征方面有何改进？
• RQ3 所提出的结合轴向注意力与残差连接的精炼模块在多大程度上提升了边界分割精度？
• RQ4 在多样化的息肉分割基准测试中，ColonFormer 整体架构在性能与效率方面与最先进模型相比如何？
• RQ5 在不同主干网络变体中，模型大小、计算成本与分割精度之间的最优权衡是什么？

主要发现

• ColonFormer-S 在所有五个基准数据集上的平均 mDice 达到 0.854，优于所有对比的最先进方法。
• ColonFormer-L 在 ETIS-Larib 数据集上达到 mDice 0.801 和 mIOU 0.722，显著优于先前模型。
• 与 MLP 解码器相比，UPer 解码器将 GFLOPs 降低了 33%，同时保持相近性能，验证了其高效性。
• 精炼模块在 Kvasir 和 ETIS-Larib 数据集上将 mDice 提升最高达 0.008，证明其在边界精炼方面的有效性。
• ColonFormer-L 在 CVC-ClinicDB 数据集上达到 mDice 0.932 和 mIOU 0.884，分别优于 SegFormer-B3-Uper-ARA 0.010 和 0.009。
• 消融实验确认，UPer 解码器与精炼的轴向注意力模块组合可实现最佳整体性能，且计算开销极低。