[论文解读] Convolutional Networks with Dense Connectivity

Gao Huang, Zhuang Liu+3 more|arXiv (Cornell University)|Jan 8, 2020

Advanced Neural Network Applications参考文献 47被引用 9

一句话总结

本文提出密集卷积网络（DenseNet），一种深度学习架构，通过特征图连接将每一层直接与所有前序和后续层相连，实现更优的特征重用、更优的梯度流动以及更高的参数效率。DenseNet在CIFAR-10、CIFAR-100、SVHN和ImageNet上均取得了最先进性能，且参数量和计算量均少于先前方法。

ABSTRACT

Recent work has shown that convolutional networks can be substantially deeper, more accurate, and efficient to train if they contain shorter connections between layers close to the input and those close to the output. In this paper, we embrace this observation and introduce the Dense Convolutional Network (DenseNet), which connects each layer to every other layer in a feed-forward fashion.Whereas traditional convolutional networks with L layers have L connections - one between each layer and its subsequent layer - our network has L(L+1)/2 direct connections. For each layer, the feature-maps of all preceding layers are used as inputs, and its own feature-maps are used as inputs into all subsequent layers. DenseNets have several compelling advantages: they alleviate the vanishing-gradient problem, encourage feature reuse and substantially improve parameter efficiency. We evaluate our proposed architecture on four highly competitive object recognition benchmark tasks (CIFAR-10, CIFAR-100, SVHN, and ImageNet). DenseNets obtain significant improvements over the state-of-the-art on most of them, whilst requiring less parameters and computation to achieve high performance.

研究动机与目标

• 通过改善层间信息流与梯度流动，解决极深卷积神经网络中的梯度消失问题。
• 通过在具有相同特征图尺寸的层之间建立直接连接，提升深层网络中的特征重用与参数效率。
• 设计一种简单但高效的架构，可扩展至数百层而无需面临优化困难。
• 在多个基准数据集上评估所提架构，并展示在降低模型复杂度的同时保持一致的准确率提升。

提出的方法

• DenseNet中的每一层都将所有前序层的特征图作为输入，通过拼接而非求和的方式组合特征。
• 网络采用密集连接模式，在L层网络中形成$\frac{L(L+1)}{2}$条直接连接，远超标准网络中的L条连接。
• 通过增长率超参数控制每层增加的特征图数量，且每层的输出将被拼接到所有后续层。
• 在每个卷积层之前应用预激活批量归一化，以提升训练稳定性和性能。
• 使用平均池化和批量归一化对过渡层进行下采样，随后通过1x1卷积减少通道数。
• 该架构支持多种配置，包括指数增长的增长率设置以及后激活批量归一化的变体，用于消融实验与效率分析。

实验结果

研究问题

• RQ1 是否可通过在所有层之间建立密集跳跃连接的全连接前馈架构，提升极深卷积神经网络的训练稳定性和性能？
• RQ2 密集连接是否能增强特征重用并减少冗余特征学习的需求，从而实现更高的参数效率？
• RQ3 在多个基准测试中，所提出的DenseNet架构与ResNets及其他深层网络相比，在准确率、参数数量和计算成本方面表现如何？
• RQ4 预激活批量归一化与增长率调度等架构选择对模型效率与准确率的影响是什么？

主要发现

• DenseNet在CIFAR-10、CIFAR-100、SVHN和ImageNet上均取得了最先进准确率，且参数量和计算量显著少于先前方法。
• 在CIFAR-10上，增长率为32的DenseNet达到96.48%的测试准确率，优于ResNet及其他基线模型，且参数量更低。
• 即使在数百层的深度下，模型也未表现出性能下降或过拟合迹象，展现出卓越的可扩展性。
• 与后激活变体相比，预激活批量归一化显著提升了参数效率与计算效率。
• 采用指数增长增长率的DenseNets在误差与FLOPs权衡上表现出更高的计算效率，尤其在深层模型中优势明显。
• 消融研究证实，密集连接增强了信息流与梯度流动，降低了优化难度并提升了泛化能力。