[论文解读] Channel Equilibrium Networks for Learning Deep Representation

Wenqi Shao, Shitao Tang+4 more|arXiv (Cornell University)|Feb 29, 2020

Domain Adaptation and Few-Shot Learning参考文献 39被引用 5

一句话总结

该论文提出通道均衡（Channel Equilibrium, CE），一种新颖的神经网络构建模块，通过缓解激活值较小、导致表征能力下降的‘受抑制通道’，强制卷积层中所有通道的贡献相等。CE通过双线性分解分支实现可学习的去相关机制，并引入实例级重加权分支，显著提升ImageNet和COCO基准上的泛化性能，计算开销极低，在ResNet和MobileNet变体上达到当前最优性能。

ABSTRACT

Convolutional Neural Networks (CNNs) are typically constructed by stacking multiple building blocks, each of which contains a normalization layer such as batch normalization (BN) and a rectified linear function such as ReLU. However, this work shows that the combination of normalization and rectified linear function leads to inhibited channels, which have small magnitude and contribute little to the learned feature representation, impeding the generalization ability of CNNs. Unlike prior arts that simply removed the inhibited channels, we propose to "wake them up" during training by designing a novel neural building block, termed Channel Equilibrium (CE) block, which enables channels at the same layer to contribute equally to the learned representation. We show that CE is able to prevent inhibited channels both empirically and theoretically. CE has several appealing benefits. (1) It can be integrated into many advanced CNN architectures such as ResNet and MobileNet, outperforming their original networks. (2) CE has an interesting connection with the Nash Equilibrium, a well-known solution of a non-cooperative game. (3) Extensive experiments show that CE achieves state-of-the-art performance on various challenging benchmarks such as ImageNet and COCO.

研究动机与目标

• 解决CNN中受抑制通道的问题，即许多特征通道激活值过小，对表征学习贡献有限。
• 通过确保所有通道贡献均衡，而非依赖少数活跃通道，提升模型泛化能力。
• 设计一种可即插即用的构建模块，兼容ResNet和MobileNet等现有架构。
• 建立CE与博弈论中纳什均衡之间的理论联系。
• 在图像分类、目标检测和实例分割等多种任务中验证CE的有效性。

提出的方法

• CE插入在归一化层（如BN）与激活函数（如ReLU）之间，替代标准的归一化-激活模块。
• 采用双线性分解（BD）分支，计算样本特定的去相关算子，降低特征通道间的相关性。
• 引入实例级重加权（IR）分支，根据通道响应的大小自适应缩放，促进通道贡献的均衡。
• 通过可学习变换将BD与IR的输出进行融合，实现动态、样本相关的通道均衡。
• 该模块通过标准反向传播端到端训练，仅更新BN的gamma和beta参数以及CE的参数。
• 该方法兼容冻结BN与同步BN设置，适用于多种训练配置。

实验结果

研究问题

• RQ1 可学习机制是否能有效减少深层CNN中的受抑制通道数量并提升泛化性能？
• RQ2 在相同层内强制通道贡献相等，是否能提升下游任务的性能？
• RQ3 CE机制与博弈论中的纳什均衡是否存在理论关联？
• RQ4 CE能否在不显著增加计算成本的前提下，有效集成到ResNet和MobileNet等多样化架构中？
• RQ5 CE是否能超越图像分类任务，在目标检测和实例分割等任务中也表现出良好泛化能力？

主要发现

• 与BN和LN相比，CE显著减少了受抑制通道数量（特征值 < 10⁻²），尤其在深层网络中效果更明显。
• 在CIFAR-10上，CE通过降低测试误差并减少对特定通道的依赖，提升了top-1准确率，累积消融曲线验证了其有效性。
• 在ResNet50上，CE在ImageNet上将top-1准确率提升1.7%，优于原始ResNet50+BN，甚至超过挤压-激励模块。
• 在MobileNetv2上，CE在ImageNet上将top-1准确率提升2.1%，表明其在不同架构类型中均具备强大泛化能力。
• 在COCO上，CE-ResNet50在目标检测任务中AP提升2.2点，在实例分割任务中提升2.7点，同步CE实现42.0 AP的检测性能。
• CE在多个基准上达到当前最优性能，计算开销极低，并在多种任务与架构中均表现出一致的性能增益。