[论文解读] A New Multiple Max-pooling Integration Module and Cross Multiscale Deconvolution Network Based on Image Semantic Segmentation

Hongfeng You, Shengwei Tian+4 more|arXiv (Cornell University)|Mar 25, 2020

Radiomics and Machine Learning in Medical Imaging参考文献 32被引用 4

一句话总结

本文提出MC-Net，一种用于医学图像语义分割的新型深度学习架构，通过整合多尺度最大池化特征并采用跨多尺度反卷积来缓解特征稀疏性问题。通过结合多尺度卷积、多最大池化融合模块以及跳跃连接的跨尺度反卷积，MC-Net在二值和多类别分割基准上实现了最先进性能，优于FCN、U-Net、PSPNet及其他领先模型。

ABSTRACT

To better retain the deep features of an image and solve the sparsity problem of the end-to-end segmentation model, we propose a new deep convolutional network model for medical image pixel segmentation, called MC-Net. The core of this network model consists of four parts, namely, an encoder network, a multiple max-pooling integration module, a cross multiscale deconvolution decoder network and a pixel-level classification layer. In the network structure of the encoder, we use multiscale convolution instead of the traditional single-channel convolution. The multiple max-pooling integration module first integrates the output features of each submodule of the encoder network and reduces the number of parameters by convolution using a kernel size of 1. At the same time, each max-pooling layer (the pooling size of each layer is different) is spliced after each convolution to achieve the translation invariance of the feature maps of each submodule. We use the output feature maps from the multiple max-pooling integration module as the input of the decoder network; the multiscale convolution of each submodule in the decoder network is cross-fused with the feature maps generated by the corresponding multiscale convolution in the encoder network. Using the above feature map processing methods solves the sparsity problem after the max-pooling layer-generating matrix and enhances the robustness of the classification. We compare our proposed model with the well-known Fully Convolutional Networks for Semantic Segmentation (FCNs), DecovNet, PSPNet, U-net, SgeNet and other state-of-the-art segmentation networks such as HyperDenseNet, MS-Dual, Espnetv2, Denseaspp using one binary Kaggle 2018 data science bowl dataset and two multiclass dataset and obtain encouraging experimental results.

研究动机与目标

• 为解决端到端语义分割模型中的特征稀疏性问题，尤其是在医学影像中的问题。
• 通过在编码器和解码器阶段整合多尺度特征，提升特征保留能力和鲁棒性。
• 通过先进的池化与反卷积策略减少参数量并保留空间细节，从而提高分割精度。
• 开发一种统一架构，在二值和多类别分割任务上均优于现有最先进模型。

提出的方法

• 编码器使用多尺度卷积而非单通道卷积，以提取分层特征。
• 多最大池化融合模块通过1×1卷积融合来自不同编码器子模块的特征，并采用不同卷积核大小的最大池化操作，以增强平移不变性。
• 解码器采用跨多尺度反卷积，其中每个反卷积子模块与编码器中对应位置的多尺度特征进行融合，以恢复空间分辨率和上下文信息。
• 网络使用像素级分类层进行最终分割预测。
• 模型在医学图像数据集上使用标准交叉熵损失进行端到端训练。
• 多尺度池化与跳跃连接反卷积的结合有效减少了特征稀疏性，提升了特征表示能力。

实验结果

研究问题

• RQ1 多最大池化融合模块是否能有效减少语义分割中的特征稀疏性，同时保留空间上下文？
• RQ2 与标准反卷积相比，跨多尺度反卷积在特征恢复和分割精度方面有何改进？
• RQ3 所提出的MC-Net架构在医学图像分割基准上相较于现有最先进模型的性能提升程度如何？
• RQ4 在编码器和解码器阶段均使用多尺度卷积是否能增强特征表示能力和鲁棒性？

主要发现

• MC-Net在二值Kaggle 2018数据科学碗数据集上实现了最先进性能，优于FCN、U-Net和PSPNet。
• 在多类别医学图像分割数据集上，MC-Net在分割精度方面优于HyperDenseNet、MS-Dual、ESPNetv2和DenseASPP。
• 多最大池化融合模块在显著减少参数量的同时，保持了高质量的特征表示。
• 跨多尺度反卷积策略显著改善了最大池化操作后的特征恢复效果，并降低了稀疏性。
• 该模型在多种医学影像任务中均表现出一致的性能提升，表明其具备强大的泛化能力。