[论文解读] Algorithm-Dependent Generalization Bounds for Overparameterized Deep Residual Networks

Spencer Frei, Yuan Cao+1 more|arXiv (Cornell University)|Oct 7, 2019

Advanced Neural Network Applications被引用 11

一句话总结

本文为使用梯度下降训练的过参数化深度残差网络提供了算法依赖的泛化界，表明梯度下降收敛到一个较小且泛化性能良好的函数子集。关键结果是，与非残差网络中所需的多项式过参数化不同，泛化误差在深度上仅需对数级过参数化即可保持较小。

ABSTRACT

The skip-connections used in residual networks have become a standard architecture choice in deep learning due to the increased training stability and generalization performance with this architecture, although there has been limited theoretical understanding for this improvement. In this work, we analyze overparameterized deep residual networks trained by gradient descent following random initialization, and demonstrate that (i) the class of networks learned by gradient descent constitutes a small subset of the entire neural network function class, and (ii) this subclass of networks is sufficiently large to guarantee small training error. By showing (i) we are able to demonstrate that deep residual networks trained with gradient descent have a small generalization gap between training and test error, and together with (ii) this guarantees that the test error will be small. Our optimization and generalization guarantees require overparameterization that is only logarithmic in the depth of the network, while all known generalization bounds for deep non-residual networks have overparameterization requirements that are at least polynomial in the depth. This provides an explanation for why residual networks are preferable to non-residual ones.

研究动机与目标

• 理解为何在相似过参数化条件下，残差网络的泛化性能优于非残差网络。
• 解决对跳跃连接在深度学习中成功原因缺乏理论理解的问题。
• 分析使用梯度下降训练的过参数化残差网络的优化与泛化行为。
• 证明梯度下降从网络全部容量中选择了一个小而泛化性能良好的函数子集。
• 提供依赖于训练算法而非仅网络架构或权重的泛化界。

提出的方法

• 分析使用高斯初始化时，网络参数在离散时间梯度下降过程中的轨迹。
• 利用谱分析和基于稀疏性的论证，对中间激活和梯度的范数进行上界估计。
• 在稀疏子空间上构建 1/4- 和 1/2- 网络，以控制随机特征映射的行为。
• 应用霍夫丁不等式，对残差连接中随机特征和的偏离进行上界估计。
• 通过对网络元素使用并集界，推导出泛化误差的高概率上界。
• 利用跳跃连接的结构，证明所学习的函数类既足够小又具备足够的表达能力以拟合训练数据。

实验结果

研究问题

• RQ1 为何在过参数化条件下，残差网络的泛化性能优于非残差网络？
• RQ2 梯度下降在过参数化残差网络中实际收敛到哪个函数类？
• RQ3 能否推导出依赖于训练算法而非仅网络架构的泛化界？
• RQ4 网络深度如何影响残差网络中实现泛化的所需过参数化程度？
• RQ5 网络激活的稀疏性与残差网络泛化性能之间存在何种关系？

主要发现

• 在过参数化残差网络中，梯度下降收敛到一个较小的函数子集，这解释了其较小的泛化差距。
• 梯度下降所学习的函数类足够丰富，可实现小的训练误差。
• 与非残差网络中所需的多项式过参数化不同，泛化误差在仅对数级过参数化于网络深度时仍保持较小。
• 该分析提供了非平凡的、不依赖于权重范数经验假设的算法依赖泛化界。
• 理论框架解释了残差网络在使用更少参数的情况下，仍能实现低训练误差和低测试误差的实用成功。
• 界是通过随机矩阵理论和基于网的集中不等式推导得出，表明跳跃连接将优化路径约束在有利的函数子集上。