[论文解读] Concurrent Spatial and Channel Squeeze & Excitation in Fully Convolutional Networks

Abhijit Guha Roy, Nassir Navab+1 more|arXiv (Cornell University)|Mar 7, 2018

Advanced Neural Network Applications参考文献 6被引用 158

一句话总结

本文提出了一种并发的空间与通道挤压与激励（scSE）模块，以提升全卷积网络（F-CNNs）在医学图像分割中的特征重校准能力。通过分别对空间和通道维度进行挤压与激励，scSE模块在脑部分割任务中性能提升4–8%，在全器官CT分割任务中提升2–3%，且计算成本几乎不变。

ABSTRACT

Fully convolutional neural networks (F-CNNs) have set the state-of-the-art in image segmentation for a plethora of applications. Architectural innovations within F-CNNs have mainly focused on improving spatial encoding or network connectivity to aid gradient flow. In this paper, we explore an alternate direction of recalibrating the feature maps adaptively, to boost meaningful features, while suppressing weak ones. We draw inspiration from the recently proposed squeeze & excitation (SE) module for channel recalibration of feature maps for image classification. Towards this end, we introduce three variants of SE modules for image segmentation, (i) squeezing spatially and exciting channel-wise (cSE), (ii) squeezing channel-wise and exciting spatially (sSE) and (iii) concurrent spatial and channel squeeze & excitation (scSE). We effectively incorporate these SE modules within three different state-of-the-art F-CNNs (DenseNet, SD-Net, U-Net) and observe consistent improvement of performance across all architectures, while minimally effecting model complexity. Evaluations are performed on two challenging applications: whole brain segmentation on MRI scans (Multi-Atlas Labelling Challenge Dataset) and organ segmentation on whole body contrast enhanced CT scans (Visceral Dataset).

研究动机与目标

• 提升全卷积网络（F-CNNs）在医学图像分割任务中的特征图重校准能力。
• 探究空间维度激励是否在分割任务中优于通道维度激励。
• 提出并评估三种SE模块变体：cSE（通道维度激励）、sSE（空间维度激励）和scSE（并发空间与通道重校准）。
• 证明SE模块在多种最先进F-CNN架构（DenseNet、SD-Net、U-Net）中的泛化能力。
• 在两个具有挑战性的医学影像应用中验证性能增益：全脑与全器官分割。

提出的方法

• 提出三种SE模块变体：cSE（空间挤压，通道激励）、sSE（通道挤压，空间激励）和scSE（并发空间与通道重校准）。
• 在F-CNNs的每个编码器和解码器模块后集成SE模块，使用全局平均池化进行空间挤压，全连接层实现通道权重调整。
• 通过Sigmoid激活函数实现可学习的门控机制，基于重校准后的通道与空间描述符动态重加权特征图。
• 采用类似残差连接的结构，在应用重校准的同时保留原始特征图。
• 通过独立计算空间与通道重校准，并以逐元素相加方式融合，实现scSE模块。
• 使用随机梯度下降训练模型，并基于MRI与CT数据集上验证损失的收敛情况实施早停策略。

实验结果

研究问题

• RQ1 在F-CNNs中，空间维度激励是否优于通道维度激励用于图像分割？
• RQ2 并发空间与通道重校准（scSE）是否能进一步提升分割性能，超越单一模块？
• RQ3 SE模块架构是否可在U-Net、SD-Net和DenseNet等多样化F-CNN架构中实现泛化？
• RQ4 SE模块的集成是否在不同医学影像任务中均带来一致的性能增益？
• RQ5 SE模块对模型复杂度与推理效率有何影响？

主要发现

• scSE模块性能最高，在全脑分割任务中将平均Dice分数提升4–8%，在全器官CT分割任务中提升2–3%，相较标准网络。
• 在所有实验中，sSE模块均优于cSE模块，证实空间激励对分割任务更具信息量。
• 在MALC数据集上，集成scSE的DenseNet达到0.882 ± 0.063的平均Dice分数，显著优于基线DenseNet（0.842 ± 0.058）。
• 在Visceral数据集上，scSE增强的U-Net达到0.881 ± 0.082的Dice分数，相较基线U-Net（0.857 ± 0.106）实现2.4%的相对提升。
• 定性结果表明，scSE改善了对小而具有挑战性的结构（如左侧尾状核与脾脏）的分割，减少了过分割与欠分割错误。
• 性能增益以可忽略的模型复杂度增加实现，证实了SE模块集成的高效性。