[论文解读] Concurrent Spatial and Channel Squeeze & Excitation in Fully Convolutional Networks

Abhijit Guha Roy, Nassir Navab+1 more|arXiv (Cornell University)|Mar 7, 2018

Advanced Neural Network Applications被引用 7

一句话总结

本文为全卷积神经网络（F-CNNs）在医学图像分割任务中引入了空间与通道压缩-激励（SE）模块。通过在U-Net、SD-Net和DenseNet架构上同时利用scSE模块对特征图在空间和通道维度进行重校准，该方法在脑部和全身体积MRI/CT分割任务中实现了稳定且显著的性能提升，计算开销极低，Dice分数最高提升达8%。

ABSTRACT

Fully convolutional neural networks (F-CNNs) have set the state-of-the-art in image segmentation for a plethora of applications. Architectural innovations within F-CNNs have mainly focused on improving spatial encoding or network connectivity to aid gradient flow. In this paper, we explore an alternate direction of recalibrating the feature maps adaptively, to boost meaningful features, while suppressing weak ones. We draw inspiration from the recently proposed squeeze & excitation (SE) module for channel recalibration of feature maps for image classification. Towards this end, we introduce three variants of SE modules for image segmentation, (i) squeezing spatially and exciting channel-wise (cSE), (ii) squeezing channel-wise and exciting spatially (sSE) and (iii) concurrent spatial and channel squeeze & excitation (scSE). We effectively incorporate these SE modules within three different state-of-the-art F-CNNs (DenseNet, SD-Net, U-Net) and observe consistent improvement of performance across all architectures, while minimally effecting model complexity. Evaluations are performed on two challenging applications: whole brain segmentation on MRI scans (Multi-Atlas Labelling Challenge Dataset) and organ segmentation on whole body contrast enhanced CT scans (Visceral Dataset).

研究动机与目标

• 通过自适应重校准特征，提升全卷积神经网络（F-CNNs）在医学图像分割任务中的特征图表征能力。
• 解决现有压缩-激励（SE）模块仅关注通道维度重校准的局限性，该方法在分割任务中效果较差。
• 提出一种新型的空间压缩-激励（sSE）模块，用于在空间维度上重校准特征，假设其对像素级分割更具信息量。
• 引入一种并行空间与通道SE（scSE）模块，结合两种重校准机制以提升特征选择性。
• 在多种最先进F-CNN架构及两类具有挑战性的医学影像应用中验证这些SE模块的有效性。

提出的方法

• 提出一种通道维度压缩-激励（cSE）模块，通过全局平均池化将空间维度压缩为通道描述符，随后使用可学习的激励权重对通道进行重校准。
• 引入一种空间压缩-激励（sSE）模块，通过全局平均池化在通道维度上压缩，生成空间注意力图，用于重新加权空间特征。
• 设计一种并行空间与通道SE（scSE）模块，独立应用cSE与sSE，并通过逐元素相加融合其输出，生成优化后的特征图。
• 在F-CNNs的每个编码器和解码器模块后集成SE模块，实现端到端训练，且对网络架构的修改极小。
• 在scSE模块中采用双分支结构：一个分支用于通道重校准（cSE），另一个用于空间重校准（sSE），通过全连接层学习缩放参数。
• 在三种F-CNN架构（U-Net、SD-Net和DenseNet）中应用SE模块，以评估其在不同网络设计下的泛化能力。

实验结果

研究问题

• RQ1 与仅通道重校准相比，空间压缩-激励是否能提升F-CNNs在分割任务中的性能？
• RQ2 并行空间与通道重校准（scSE）是否优于单独的cSE或sSE模块？
• RQ3 SE模块的集成如何影响F-CNNs的模型复杂度与推理效率？
• RQ4 所提出的SE模块是否在不同F-CNN架构（U-Net、SD-Net、DenseNet）及医学影像应用中具有泛化能力？
• RQ5 SE模块带来的性能提升在不同解剖结构上是否具有统计显著性且保持一致？

主要发现

• 在所有网络和数据集上，引入任意SE模块（cSE、sSE或scSE）均导致Dice分数显著提升（p ≤ 0.001，Wilcoxon符号秩检验）。
• 空间压缩-激励（sSE）模块的表现优于仅通道重校准的cSE模块，证实空间信息对分割任务更为关键。
• 并行空间与通道SE（scSE）模块实现了最高性能，与基线网络相比，全脑分割的Dice分数相对提升达4–8%，全身体积分割提升2–3%。
• 在全脑分割任务中，scSE模块将Dice分数从U-Net的0.843 ± 0.062提升至0.862 ± 0.082，从DenseNet的0.771 ± 0.150提升至0.860 ± 0.062，表明在复杂结构上取得了显著改进。
• 定性结果表明，scSE能有效纠正小结构（如左侧尾状核）的分割不足和器官（如脾脏）的过度分割，证实其定位精度得到提升。
• scSE带来的性能增益几乎未增加模型复杂度，使其成为医学影像中F-CNNs一种高效且通用的增强方法。