[论文解读] Dynamic Group Convolution for Accelerating Convolutional Neural Networks

Zhuo Su, Linpu Fang+4 more|arXiv (Cornell University)|Jul 8, 2020

Advanced Neural Network Applications参考文献 61被引用 4

一句话总结

本文提出动态组卷积（DGC），一种基于输入相关特征重要性的自适应方法，可为卷积层中的每组动态选择输入通道，使用轻量级选择器。DGC在保持完整网络结构和计算效率的同时，通过实现动态、样本特定的通道连接，在CIFAR-10、CIFAR-100和ImageNet基准上实现了最先进精度。

ABSTRACT

Replacing normal convolutions with group convolutions can significantly increase the computational efficiency of modern deep convolutional networks, which has been widely adopted in compact network architecture designs. However, existing group convolutions undermine the original network structures by cutting off some connections permanently resulting in significant accuracy degradation. In this paper, we propose dynamic group convolution (DGC) that adaptively selects which part of input channels to be connected within each group for individual samples on the fly. Specifically, we equip each group with a small feature selector to automatically select the most important input channels conditioned on the input images. Multiple groups can adaptively capture abundant and complementary visual/semantic features for each input image. The DGC preserves the original network structure and has similar computational efficiency as the conventional group convolution simultaneously. Extensive experiments on multiple image classification benchmarks including CIFAR-10, CIFAR-100 and ImageNet demonstrate its superiority over the existing group convolution techniques and dynamic execution methods. The code is available at https://github.com/zhuogege1943/dgc.

研究动机与目标

• 解决标准和可学习组卷积中固定稀疏连接导致的精度下降问题。
• 在组内实现动态、输入相关的通道选择，以保持特征表示能力。
• 在保持与标准组卷积相当的计算效率的同时，提升模型精度。
• 设计一种即插即用模块，可兼容现有CNN架构（如ResNet、MobileNetV2和CondenseNet）。
• 探究全局与头级阈值策略对剪枝率与性能权衡的影响。

提出的方法

• 为每组引入一个小型可学习特征选择器，根据输入特征图动态确定激活哪些输入通道。
• 使用可微分门控机制计算通道重要性得分，支持端到端训练。
• 采用阈值策略（按头或全局）剪枝不相关性较高的输入通道，形成稀疏但自适应的连接。
• 采用显著性库方法，每三个周期基于小批量激活统计量动态更新阈值。
• 引入角度扩展损失，以鼓励各头之间显著性向量正交，促进特征多样性。
• 支持按头和全局两种阈值策略，后者允许层特定剪枝率并提升性能，但带来结构不规则性。

实验结果

研究问题

• RQ1 组内动态、输入自适应的通道选择是否能在不牺牲计算效率的前提下提升精度？
• RQ2 与静态组卷积及其他动态执行方法相比，DGC在精度与速度方面表现如何？
• RQ3 全局与头级阈值策略对剪枝率与模型性能有何影响？
• RQ4 DGC是否可无需架构修改地有效集成到ResNet和CondenseNet等现有CNN架构中？
• RQ5 在各头之间鼓励显著性向量正交是否能提升特征表示与泛化能力？

主要发现

• 在ImageNet上，使用CondenseNet-86-DGC-G结构的DGC实现Top-1错误率为4.42%，优于原始CondenseNet-86（5.00%）及其他最先进滤波器级剪枝方法。
• 在CIFAR-100上，DGC将错误率降低至23.36%（71M MACs），优于原始CondenseNet-86（23.64%）及其他剪枝模型。
• 推理期间的实际剪枝率与目标率ξ高度一致，表明阈值自适应有效且稳定。
• 全局阈值策略在ImageNet上略优于按头阈值策略（Top-1错误率25.2% vs. 25.8%），尽管结构不规则性有所增加。
• 角度扩展损失仅在使用全局阈值时带来微小增益，表明正交性主要通过按头学习实现。
• DGC保持与标准组卷积相当的计算效率，辅助选择器带来的开销可忽略不计。