[论文解读] When Residual Learning Meets Dense Aggregation: Rethinking the Aggregation of Deep Neural Networks

Zhiyu Zhu, Zhen-Peng Bian+3 more|arXiv (Cornell University)|Apr 19, 2020

Advanced Neural Network Applications参考文献 31被引用 4

一句话总结

本文提出Micro-Dense Nets，一种新颖的深度神经网络架构，通过结合全局残差学习与局部微密集聚合，增强特征表示能力，同时减少参数冗余。通过引入金字塔多级特征学习与维度基数自适应卷积，该模型在CIFAR-10、CIFAR-100和ImageNet-1K上实现了最先进（SOTA）的准确率，参数量仅为400万，比同类模型小12.1倍，同时在准确率与效率方面均优于SOTA网络。

ABSTRACT

Various architectures (such as GoogLeNets, ResNets, and DenseNets) have been proposed. However, the existing networks usually suffer from either redundancy of convolutional layers or insufficient utilization of parameters. To handle these challenging issues, we propose Micro-Dense Nets, a novel architecture with global residual learning and local micro-dense aggregations. Specifically, residual learning aims to efficiently retrieve features from different convolutional blocks, while the micro-dense aggregation is able to enhance each block and avoid redundancy of convolutional layers by lessening residual aggregations. Moreover, the proposed micro-dense architecture has two characteristics: pyramidal multi-level feature learning which can widen the deeper layer in a block progressively, and dimension cardinality adaptive convolution which can balance each layer using linearly increasing dimension cardinality. The experimental results over three datasets (i.e., CIFAR-10, CIFAR-100, and ImageNet-1K) demonstrate that the proposed Micro-Dense Net with only 4M parameters can achieve higher classification accuracy than state-of-the-art networks, while being 12.1$ imes$ smaller depends on the number of parameters. In addition, our micro-dense block can be integrated with neural architecture search based models to boost their performance, validating the advantage of our architecture. We believe our design and findings will be beneficial to the DNN community.

研究动机与目标

• 为解决现有深度网络的局限性，如ResNets和DenseNets中参数冗余与特征利用效率低下问题。
• 在保持或提升分类准确率的同时，降低计算成本与模型大小。
• 探索一种新型聚合策略，结合局部密集连接与全局残差学习，以实现更优的特征表示。
• 通过在CIFAR与ImageNet数据集上的大量实验，验证所提架构的有效性。

提出的方法

• 提出微密集模块，通过在每个模块内使用局部密集连接，增强特征提取并减少冗余。
• 在微密集模块之间引入全局身份映射，以保持梯度流动，支持深层网络训练。
• 采用金字塔多级特征学习，使模块内各层的输出通道数逐步增加，防止信息丢失。
• 应用维度基数自适应卷积，使卷积组数量随特征图宽度线性增长，以控制参数增长。
• 设计一种轻量化架构，仅含400万参数，同时在多个基准测试中保持高准确率。
• 将微密集模块集成至基于NAS的模型（如EfficientNet-B0）中，构建Micro-Dense-EfficientNet，以验证其可迁移性与性能提升效果。

实验结果

研究问题

• RQ1 结合局部密集聚合与全局残差学习的混合架构，是否能在参数更少的情况下，实现优于现有SOTA模型的性能？
• RQ2 与固定增长率的特征学习相比，金字塔多级特征学习在表征能力方面表现如何？
• RQ3 微密集聚合在准确率与训练稳定性方面，是否优于标准残差或密集聚合？
• RQ4 微密集模块在多大程度上可被集成至基于NAS的架构中以提升性能？
• RQ5 维度基数自适应卷积策略如何在实现更深特征学习的同时防止参数爆炸？

主要发现

• Micro-Dense Net在ImageNet-1K上达到97.84%的top-1准确率，参数量仅为400万，优于最先进模型，且参数量仅为同类模型的1/12.1。
• 在CIFAR-100上，模型测试错误率为18.49%，在相同参数量与FLOPs约束下，优于Res2Net与ResNeXt。
• 微密集模块在CIFAR-10与CIFAR-100上均比标准残差或密集聚合更有效地降低错误率，且在所有评估模型中达到最低的测试损失与错误率。
• Micro-Dense-EfficientNet在保持相同FLOPs与参数量的前提下，将EfficientNet-B0的top-1准确率提升0.5个百分点（达76.8%）。
• Micro-Dense-EfficientNet的激活图显示对目标物体的关注更清晰，表明其特征定位与表征能力得到改善。
• 消融实验证实，金字塔多级特征学习与维度基数自适应卷积是性能关键，两者均对准确率提升有显著贡献。