[论文解读] Demystifying ResNet

Sihan Li, Jiantao Jiao+2 more|arXiv (Cornell University)|Nov 3, 2016

Domain Adaptation and Few-Shot Learning参考文献 7被引用 5

一句话总结

本文从理论上解释了为何残差网络（ResNets）中跳跃连接长度为2时性能优于其他跳跃深度。研究表明，跳跃连接长度为2可确保在初始化时Hessian矩阵的条件数保持深度不变，从而实现非常深网络的稳定训练；而其他深度则会导致病态条件或高阶鞍点，阻碍优化过程。

ABSTRACT

The Residual Network (ResNet), proposed in He et al. (2015), utilized shortcut connections to significantly reduce the difficulty of training, which resulted in great performance boosts in terms of both training and generalization error. It was empirically observed in He et al. (2015) that stacking more layers of residual blocks with shortcut 2 results in smaller training error, while it is not true for shortcut of length 1 or 3. We provide a theoretical explanation for the uniqueness of shortcut 2. We show that with or without nonlinearities, by adding shortcuts that have depth two, the condition number of the Hessian of the loss function at the zero initial point is depth-invariant, which makes training very deep models no more difficult than shallow ones. Shortcuts of higher depth result in an extremely flat (high-order) stationary point initially, from which the optimization algorithm is hard to escape. The shortcut 1, however, is essentially equivalent to no shortcuts, which has a condition number exploding to infinity as the number of layers grows. We further argue that as the number of layers tends to infinity, it suffices to only look at the loss function at the zero initial point. Extensive experiments are provided accompanying our theoretical results. We show that initializing the network to small weights with shortcut 2 achieves significantly better results than random Gaussian (Xavier) initialization, orthogonal initialization, and shortcuts of deeper depth, from various perspectives ranging from final loss, learning dynamics and stability, to the behavior of the Hessian along the learning process.

研究动机与目标

• 解释为何在残差网络中，跳跃连接长度为2时能唯一实现极深网络的训练，尽管经验观察表明其他跳跃深度（如1或3）并未带来相同优势。
• 分析在零初始化点处深度残差网络的优化景观，特别关注Hessian矩阵的条件数及其与跳跃深度的关系。
• 证明跳跃连接长度为2可避免其他深度中导致优化受阻的病态条件和高阶鞍点，而跳跃连接长度为1则表现如同线性网络，其条件数会爆炸式增长。
• 通过在不同初始化方案和跳跃深度下，对比训练动态、损失收敛性及Hessian行为，对理论推导的见解进行广泛实验验证。

提出的方法

• 对具有不同跳跃深度的深度残差网络，在零初始化点处对损失函数的Hessian矩阵进行理论分析。
• 推导表明，当跳跃连接长度为2时，Hessian矩阵的条件数保持有界（即深度不变）；而当跳跃连接长度为1时，其条件数随深度无界增长。
• 证明当跳跃连接长度大于2时，零初始化点变为高阶鞍点（Hessian矩阵为零矩阵），导致优化过程中难以逃离该点。
• 利用线性与非线性ResNet架构，在MNIST和CIFAR-10数据集上进行实验，对比训练动态、最终损失及Hessian特征值行为。
• 采用线性插值方法，计算不同训练轨迹上各损失水平处的特征值统计量（最大值、第10百分位数、负特征值比例）。
• 对比不同初始化方法：随机高斯（Xavier）、正交初始化，以及在控制网络深度与参数量下采用零初始化与跳跃连接长度2的组合。

实验结果

研究问题

• RQ1 为何在ResNets中，跳跃连接长度为2时能唯一实现极深网络的训练，而跳跃连接长度为1和3时则不能？
• RQ2 在深度残差网络中，跳跃连接深度如何影响零初始化点处Hessian矩阵的条件数？
• RQ3 不同跳跃连接深度下，零初始化点的临界点性质为何？其对优化动态有何影响？
• RQ4 在训练稳定性和收敛速度方面，零初始化配合跳跃连接长度2是否优于标准初始化方法（如Xavier、正交初始化）？
• RQ5 在训练过程中，不同跳跃连接深度下的Hessian特征值分布与负曲率行为有何差异？

主要发现

• 跳跃连接长度为2可确保在零初始化时Hessian矩阵的条件数保持深度不变，从而实现任意深度网络的稳定训练。
• 跳跃连接长度为1时，条件数随深度无界增长，使优化过程变得日益困难。
• 跳跃连接长度大于2时，零初始化点处形成高阶鞍点（Hessian矩阵为零矩阵），导致优化过程中难以逃离。
• 实验表明，采用小权重初始化（零初始化）与跳跃连接长度2的组合，相比Xavier或正交初始化，能显著获得更低的最终损失，尤其在深层网络中优势明显。
• 2跳连接网络表现出更快的学习动态和更低的负特征值比例，表明其更倾向于收敛至低损失临界点。
• 在CIFAR-10数据集上，仅当跳跃连接长度为2时，ResNets在深度超过400层后性能仍能提升，而其他网络则出现性能下降。