[论文解读] ConvFormer: Combining CNN and Transformer for Medical Image Segmentation

Pengfei Gu, Yejia Zhang+2 more|arXiv (Cornell University)|Nov 15, 2022

Radiomics and Machine Learning in Medical Imaging被引用 4

一句话总结

本文提出ConvFormer，一种用于医学图像分割的分层CNN-Transformer混合架构，通过结合卷积神经网络的局部归纳偏置与Transformer的全局长距离建模能力，实现了卓越性能。通过引入带有卷积前馈模块的增强可变形Transformer、残差结构的混合主干网络以及额外的多尺度编码器，ConvFormer在2D和3D医学影像数据集上均达到最先进水平，优于现有的纯CNN或纯Transformer模型，同时实现了从零开始的高效训练。

ABSTRACT

Convolutional neural network (CNN) based methods have achieved great successes in medical image segmentation, but their capability to learn global representations is still limited due to using small effective receptive fields of convolution operations. Transformer based methods are capable of modelling long-range dependencies of information for capturing global representations, yet their ability to model local context is lacking. Integrating CNN and Transformer to learn both local and global representations while exploring multi-scale features is instrumental in further improving medical image segmentation. In this paper, we propose a hierarchical CNN and Transformer hybrid architecture, called ConvFormer, for medical image segmentation. ConvFormer is based on several simple yet effective designs. (1) A feed forward module of Deformable Transformer (DeTrans) is re-designed to introduce local information, called Enhanced DeTrans. (2) A residual-shaped hybrid stem based on a combination of convolutions and Enhanced DeTrans is developed to capture both local and global representations to enhance representation ability. (3) Our encoder utilizes the residual-shaped hybrid stem in a hierarchical manner to generate feature maps in different scales, and an additional Enhanced DeTrans encoder with residual connections is built to exploit multi-scale features with feature maps of different scales as input. Experiments on several datasets show that our ConvFormer, trained from scratch, outperforms various CNN- or Transformer-based architectures, achieving state-of-the-art performance.

研究动机与目标

• 解决CNN因有效感受野较小而在捕捉长距离依赖方面存在的局限性。
• 克服纯Transformer模型缺乏局部归纳偏置的问题，从而提升在医学图像分割任务中的表现。
• 通过在分层编码器架构中整合不同阶段的特征图，改进多尺度特征表示。
• 提升位置编码的灵活性，以更好地适应医学图像数据。
• 设计一种统一的、端到端可训练架构，使其在分割精度上超越现有的基于CNN或Transformer的方法。

提出的方法

• 将可变形Transformer（DeTrans）的前馈模块重新设计为卷积层，以增强局部特征学习，从而构建增强型DeTrans模块。
• 开发一种残差结构的混合主干网络，结合深度可分离卷积与增强型DeTrans，以在多尺度下联合捕捉局部与全局表征。
• 利用混合主干构建分层编码器，生成多尺度特征图，随后输入至带有残差连接的额外增强型DeTrans编码器，以挖掘跨尺度上下文信息。
• 通过在固定正弦位置编码中增加卷积层，引入增强型位置编码（EPE），以提升特征表示的适应性与灵活性。
• 采用U-Net风格解码器并结合跳跃连接，利用编码器中的特征精细化分割掩码。
• 在公开数据集与内部数据集上从零开始端到端训练整个网络，无需预训练。

Fig. 1 : (a) An overview of our Enhanced DeTrans with the proposed enhanced positional encoding (EPE) and Conv-based feed forward module (FFM) (shown in gray color). (b) Our ConvFormer: The two big boxes on the left are for the encoder and decoder, respectively (best viewed in color).

实验结果

研究问题

• RQ1 结合CNN与Transformer的混合架构是否能通过平衡局部与全局特征学习，提升医学图像分割性能？
• RQ2 在DeTrans中引入卷积前馈模块是否能增强其在医学图像中建模局部上下文的能力？
• RQ3 与标准单尺度编码器相比，采用多尺度特征输入的分层编码器在多大程度上提升了分割性能？
• RQ4 所提出的增强型位置编码在提升模型泛化能力与特征表示方面效果如何？
• RQ5 一种从零开始训练的统一CNN-Transformer架构是否能在多样化医学影像任务中实现最先进性能？

主要发现

• 在2017年ISIC皮肤病变数据集上，ConvFormer的Dice分数达到0.955，IoU为0.914，优于所有对比方法，包括UNetR与CoTr。
• 在2017年MM-WHS CT数据集上，ConvFormer的Dice分数达到0.980，IoU为0.957，展现出在3D腹部器官分割任务中的卓越性能。
• 在内部淋巴结数据集上，ConvFormer的Dice分数达到0.844，IoU为0.740，Dice分数较第二好的方法提升0.031。
• 消融实验表明，移除增强型DeTrans模块使F1分数下降0.4%，移除额外的多尺度编码器使F1分数下降0.5%，验证了其贡献。
• 移除混合主干（即仅使用CNN）使F1分数下降9.6%，证明了联合学习局部与全局表征的关键作用。
• 与固定正弦位置编码相比，增强型位置编码（EPE）使F1分数提升0.4%，证实其在特征表示中的有效性。

Fig. 2 : Some visual qualitative results on the lymph node dataset (a) and the 2017 MM-WHS CT dataset (b), demonstrating the capability of our ConvFormer.