[论文解读] ConvTransSeg: A Multi-resolution Convolution-Transformer Network for Medical Image Segmentation

Zhendi Gong, Andrew P. French+2 more|arXiv (Cornell University)|Oct 13, 2022

AI in cancer detection被引用 4

一句话总结

该论文提出了一种名为ConvTransSeg的混合医学图像分割模型，该模型采用多分辨率卷积神经网络（CNN）编码器进行局部特征提取，并利用多分辨率Transformer解码器进行长距离上下文建模。该方法在多个公开数据集上实现了最先进性能，模型复杂度更低，且无需预训练，其Dice系数和平均对称表面距离均优于纯CNN和纯Transformer基线模型。

ABSTRACT

Convolutional neural networks (CNNs) achieved the state-of-the-art performance in medical image segmentation due to their ability to extract highly complex feature representations. However, it is argued in recent studies that traditional CNNs lack the intelligence to capture long-term dependencies of different image regions. Following the success of applying Transformer models on natural language processing tasks, the medical image segmentation field has also witnessed growing interest in utilizing Transformers, due to their ability to capture long-range contextual information. However, unlike CNNs, Transformers lack the ability to learn local feature representations. Thus, to fully utilize the advantages of both CNNs and Transformers, we propose a hybrid encoder-decoder segmentation model (ConvTransSeg). It consists of a multi-layer CNN as the encoder for feature learning and the corresponding multi-level Transformer as the decoder for segmentation prediction. The encoder and decoder are interconnected in a multi-resolution manner. We compared our method with many other state-of-the-art hybrid CNN and Transformer segmentation models on binary and multiple class image segmentation tasks using several public medical image datasets, including skin lesion, polyp, cell and brain tissue. The experimental results show that our method achieves overall the best performance in terms of Dice coefficient and average symmetric surface distance measures with low model complexity and memory consumption. In contrast to most Transformer-based methods that we compared, our method does not require the use of pre-trained models to achieve similar or better performance. The code is freely available for research purposes on Github: (the link will be added upon acceptance).

研究动机与目标

• 解决CNN在医学图像分割中捕捉长距离依赖关系能力有限的问题。
• 克服纯Transformer模型在小样本医学数据集上缺乏局部特征学习能力的不足。
• 设计一种混合架构，将CNN（局部特征提取）与Transformer（长距离上下文建模）的优势在多分辨率框架中结合。
• 开发一种方法，在不依赖预训练模型的前提下，实现高分割精度、低模型复杂度和低内存消耗。
• 实现灵活的输入尺寸和小样本医学图像数据集的高效训练。

提出的方法

• 模型采用多层CNN作为编码器，从输入图像中提取分层的、多分辨率的局部特征。
• 解码器为多级Transformer，通过自注意力机制处理编码特征，以建模图像区域之间的长距离依赖关系。
• 通过计算高效的重采样和重排操作，在多个尺度上连接编码器与解码器的特征。
• 该架构设计旨在在整个网络中保持特征分辨率，从而实现局部与全局上下文的有效融合。
• 模型采用标准分割损失函数进行端到端训练，无需在大规模数据集上进行预训练。
• 通过类似跳跃连接的方式实现多分辨率特征交互，以在不同尺度间保留空间信息。

实验结果

研究问题

• RQ1 混合CNN-Transformer架构是否能在医学图像分割任务中超越纯CNN和纯Transformer模型？
• RQ2 在不依赖预训练的前提下，使用CNN编码器与Transformer解码器是否能提升小样本医学数据集上的性能？
• RQ3 编码器与解码器之间多分辨率特征交互如何影响分割精度与模型效率？
• RQ4 所提方法是否能在保持低参数量和低内存使用的同时，实现Dice系数和平均对称表面距离的最先进结果？
• RQ5 该方法在前景与背景对比度较低的挑战性病例（如息肉或皮肤病变分割）中是否具备鲁棒性？

主要发现

• ConvTransSeg在所有评估数据集（包括ISIC2018、CVC-ClinicDB、Pannuke和OASIS-1）上均取得了最高的平均Dice系数，优于所有对比方法。
• 该模型在所有数据集上均实现了最低的平均对称表面距离（ASSD），表明其边界定位精度更优。
• 在CVC-ClinicDB息肉数据集上，ConvTransSeg显著优于ResUNet（后者在低对比度情况下表现不佳），并达到或超过其他基于Transformer的模型性能。
• 该方法在参数量更少、收敛速度更快的前提下实现了最先进性能，展现出高效率。
• 定性结果表明，在目标与背景具有相似强度模式的挑战性情况下，ConvTransSeg的预测结果比ResUNet及其他基于Transformer的模型更为准确。
• 该模型在检测小尺寸或不规则形状区域（如息肉）方面表现出鲁棒性，即使其他方法失败或产生过度分割时，仍能有效识别。