[论文解读] CondenseNet: An Efficient DenseNet using Learned Group Convolutions

Gao Huang, Shichen Liu+2 more|arXiv (Cornell University)|Nov 25, 2017

Advanced Neural Network Applications参考文献 44被引用 95

一句话总结

CondenseNet 引入学习组卷积以裁剪 DenseNet 连接中的冗余，实现使用标准组卷conv的快速推理，在 FLOPs 和参数显著更少的情况下仍保持准确性。

ABSTRACT

Deep neural networks are increasingly used on mobile devices, where computational resources are limited. In this paper we develop CondenseNet, a novel network architecture with unprecedented efficiency. It combines dense connectivity with a novel module called learned group convolution. The dense connectivity facilitates feature re-use in the network, whereas learned group convolutions remove connections between layers for which this feature re-use is superfluous. At test time, our model can be implemented using standard group convolutions, allowing for efficient computation in practice. Our experiments show that CondenseNets are far more efficient than state-of-the-art compact convolutional networks such as MobileNets and ShuffleNets.

研究动机与目标

• 在 DenseNets 中促进特征复用的同时，通过学习每层对输入特征的重要性来降低计算成本。
• 开发一种剪枝机制，在训练过程中自动在组级别诱导稀疏性，以便在测试时实现高效的组卷积。
• 研究架构层面的改变（IGR 增长、跨块的全密连接）以在不牺牲精度的前提下进一步提升效率。
• 在 CIFAR-10/100 和 ImageNet 上将 CondenseNet 与面向移动端和服务器端的紧凑型 CNN 进行对比评估。
• 提供一个端到端的训练与部署管线，依赖标准组卷积实现高效推理。

提出的方法

• 通过将 1x1 过滤器输出分成 G 组并在训练过程中学习输入特征分组来引入学习组卷积（LGC）。
• 使用带有浓缩因子 C 的浓缩过程，通过组-套正则化（group-lasso regularizer）迭代地裁剪每组中的 1x1 过滤权重，以鼓励组内相同的稀疏模式。
• 在训练中用掩码机制替换被裁剪的权重，以避免稀疏矩阵运算并保持 GPU 的效率。
• 训练结束后，通过一个索引层将稀疏层转换为规则的组卷积，以实现高效部署。
• 可选采用架构调整：指数增长的增长率（IGR）以及跨块的全密连接以提升特征复用和效率。
• 采用余弦学习率调度和类似 DenseNet 的标准块进行训练，适配学习型组卷积。

实验结果

研究问题

• RQ1 在不损及准确性的前提下，学习组卷积如何剪裁多余的层连接以替代 DenseNets？
• RQ2 在 CIFAR-10/100 和 ImageNet 上用学习组卷绕代替密集连接时，在 FLOPs 和参数方面有哪些效率提升？
• RQ3 如 IGR 增长和全密连接等架构改动是否能在不同数据集上提升性能与效率？
• RQ4 在 ImageNet 上 CondenseNet 能否达到或超过 MobileNets 和 ShuffleNets 在相近准确度下的效率？
• RQ5 学习剪枝策略在不同训练运行中能否保持稳定的连接模式？

主要发现

模型	参数	FLOPs	C-10	C-100
ResNet-1001	16.1M	2,357M	4.62	22.71
Stochastic-Depth-1202	19.4M	2,840M	4.91	-
Wide-ResNet-28	36.5M	5,248M	4.00	19.25
ResNeXt-29	68.1M	10,704M	3.58	17.31
DenseNet-190	25.6M	9,388M	3.46	17.18
NASNet-A	3.3M	-	3.41	-
condense light -160	3.1M	1,084M	3.46	17.55
condense -182	4.2M	513M	3.76	18.47

• CondenseNet 在相似精度下显著降低 FLOPs，例如 CondenseNet 以 275M FLOPs 实现约 29% 的 top-1 错误率，接近于计算量大致为 MobileNet 的水平。
• 在 CIFAR-10/100 上，CondenseNet 变体在达到与密集网络和剪枝基线相当的精度时，参数和 FLOPs 约低 8×。
• 学习组卷积在相同精度水平下显著提升了相对于传统的 DenseNet 风格结构的效率，并优于若干最前沿的紧凑型 CNN。
• CondenseNet 的轻量版本（condense-light）在 CIFAR-10 的精度与 NASNet-A 相当，同时使用的参数和 FLOPs 要少得多。
• 在 ARM 上的推理时间表明，CondenseNet（G=C=8）在 274M FLOPs 时的运行时间约比 MobileNet 快 2 倍；在 529M FLOPs 时达到具有竞争力的 top-1 精度。
• 消融研究表明更高的组数 G 与大于 1 的浓缩因子能提升效率和精度，并且在不同训练运行中呈现稳定的全局连接模式。