[论文解读] Gated Channel Transformation for Visual Recognition

Zongxin Yang, Linchao Zhu+2 more|arXiv (Cornell University)|Sep 25, 2019

Advanced Neural Network Applications参考文献 43被引用 7

一句话总结

本文提出门控通道变换（Gated Channel Transformation, GCT），一种轻量化、参数高效的模块，通过 $β$-归一化特征图与可学习门控权重来建模卷积神经网络（CNNs）中的通道关系。通过结合 $β$-范数归一化与 $1 + \tanh(x)$ 门控机制，GCT 实现了竞争与协作并存的通道动态，以极低的计算开销在图像分类、目标检测与视频识别任务中达到最先进性能。

ABSTRACT

In this work, we propose a generally applicable transformation unit for visual recognition with deep convolutional neural networks. This transformation explicitly models channel relationships with explainable control variables. These variables determine the neuron behaviors of competition or cooperation, and they are jointly optimized with the convolutional weight towards more accurate recognition. In Squeeze-and-Excitation (SE) Networks, the channel relationships are implicitly learned by fully connected layers, and the SE block is integrated at the block-level. We instead introduce a channel normalization layer to reduce the number of parameters and computational complexity. This lightweight layer incorporates a simple l2 normalization, enabling our transformation unit applicable to operator-level without much increase of additional parameters. Extensive experiments demonstrate the effectiveness of our unit with clear margins on many vision tasks, i.e., image classification on ImageNet, object detection and instance segmentation on COCO, video classification on Kinetics.

研究动机与目标

• 为解决挤压-激励（Squeeze-and-Excitation, SE）模块依赖高参数量全连接层的问题，其高参数量与隐式的通道交互关系限制了在广泛网络中的部署。
• 设计一种轻量化、可解释的通道变换单元，实现对深层CNN中通道竞争与协作的显式控制。
• 通过将SE的Sigmoid门控替换为残差形式的 $1 + \tanh(x)$ 激活函数，并采用 $\ell_2$ 归一化实现高效特征调制，提升模型泛化能力与训练稳定性。
• 通过最小化额外参数与计算成本，实现通道注意力机制在算子级别（operator-level）的可部署性。

提出的方法

• GCT 用轻量级 $\ell_2$ 归一化层替代SE模块中的全连接层，以降低参数量与计算复杂度。
• 引入可学习的通道级缩放参数 $\gamma$ 与可学习的偏移参数 $\beta$，以控制归一化特征的幅值与偏移。
• 门控机制采用 $1 + \tanh(x)$，支持恒等映射并提升训练稳定性，避免Sigmoid门控中常见的梯度消失问题。
• 该模块以算子级形式应用（例如，在批归一化之后），可灵活集成至ResNet、Inception等各类CNN架构中。
• 归一化组件对每个通道计算 $\ell_2$-归一化特征，实现稳定且高效的通道间关系计算。
• 最终输出为 $\text{GCT}(x) = \gamma \cdot \frac{x}{\|x\|_2} + \beta $，其中 $\gamma$ 与 $\beta$ 为可训练参数。

实验结果

研究问题

• RQ1 能否设计一种轻量化、参数高效的通道注意力模块，以替代SE模块中的全连接层，同时保持或提升性能？
• RQ2 使用 $\ell_2$ 归一化替代全连接层是否能带来更好的训练稳定性与更低的计算成本？
• RQ3 与基于Sigmoid的注意力相比，$1 + \tanh(x)$ 门控机制是否能改善训练动态？
• RQ4 GCT 是否能自适应地建模不同网络深度下通道间的竞争与协作关系？
• RQ5 在CNN架构中，GCT模块的最优部署位置为何处，可实现最大性能增益？

主要发现

• 在ResNet-50上，GCT在ImageNet上的Top-1准确率达到23.7%，优于基线ResNet-50（23.8%），且在显著减少参数量的同时，性能与SE相当或更优。
• GCT中的 $\ell_2$-范数归一化比 $\ell_1$-范数及均值/方差归一化更有效，$\ell_2$ 在性能与计算效率上均表现最佳。
• $1 + \tanh(x)$ 门控机制优于Sigmoid与ReLU基线，展现出更优的训练稳定性与性能增益。
• GCT在浅层减少特征方差（促进协作），在深层增加方差（促进竞争），与网络分层特征学习过程一致。
• 将GCT应用于卷积层之前，性能优于置于批归一化之后，验证了最优部署策略。
• 大量消融实验表明，归一化与自适应组件均不可或缺，其中 $\ell_2$ 归一化与 $1 + \tanh$ 门控对性能提升贡献最大。