[论文解读] Stabilize Deep ResNet with A Sharp Scaling Factor $τ$

Huishuai Zhang, Dahua Yu+3 more|arXiv (Cornell University)|Mar 17, 2019

Adversarial Robustness in Machine Learning参考文献 36被引用 11

一句话总结

该论文为残差网络（ResNets）提出一个锐利的缩放因子 $\tau = 1/\sqrt{L}$，其中 $L$ 为残差块的数量，以在训练过程中稳定前向与反向传播过程。作者证明 $\tau = O(1/\sqrt{L})$ 对于稳定性而言既是必要也是充分条件，使得在过参数化的 ResNets 中梯度下降实现全局收敛，且收敛速率与深度无关，同时通过实验表明该因子可在无需批量归一化的情况下提升训练稳定性和性能。

ABSTRACT

We study the stability and convergence of training deep ResNets with gradient descent. Specifically, we show that the parametric branch in the residual block should be scaled down by a factor $τ=O(1/\sqrt{L})$ to guarantee stable forward/backward process, where $L$ is the number of residual blocks. Moreover, we establish a converse result that the forward process is unbounded when $τ>L^{-\frac{1}{2}+c}$, for any positive constant $c$. The above two results together establish a sharp value of the scaling factor in determining the stability of deep ResNet. Based on the stability result, we further show that gradient descent finds the global minima if the ResNet is properly over-parameterized, which significantly improves over the previous work with a much larger range of $τ$ that admits global convergence. Moreover, we show that the convergence rate is independent of the depth, theoretically justifying the advantage of ResNet over vanilla feedforward network. Empirically, with such a factor $τ$, one can train deep ResNet without normalization layer. Moreover, for ResNets with normalization layer, adding such a factor $τ$ also stabilizes the training and obtains significant performance gain for deep ResNet.

研究动机与目标

• 建立在梯度下降下对深度 ResNets 的前向/反向传播稳定性的非渐近分析。
• 确定确保在任意网络深度下训练稳定的缩放因子 $\tau$ 的锐阈值。
• 证明当 $\tau \leq \tilde{O}(1/\sqrt{L})$ 且网络为过参数化时，梯度下降可全局收敛至全局最小值。
• 证明梯度下降的收敛速率与网络深度无关，从而解释 ResNet 相较于普通前馈网络的优势。
• 通过实证验证 $\tau = 1/\sqrt{L}$ 可在不使用归一化层的情况下实现有效训练，并在已归一化的 ResNets 中进一步提升性能。

提出的方法

• 引入一种带有可学习缩放因子 $\tau$ 的残差块结构，应用于参数分支：$h_l = \phi(h_{l-1} + \tau \mathcal{F}_l(h_{l-1}))$。
• 利用随机矩阵理论分析前向过程的谱范数，表明当 $\tau = O(1/\sqrt{L})$ 时，由于随机权重的统计平均效应，输出范数的增长受到控制。
• 建立反向结果：若 $\tau > L^{-1/2 + c}$（对任意 $c > 0$），则期望输出范数至少以 $L^c$ 的速度增长，表明此时存在不稳定性。
• 证明当 $\tau \leq \tilde{O}(1/\sqrt{L})$ 时，过参数化的 ResNets 中梯度下降可全局收敛至全局最小值，且收敛速率与深度无关。
• 将 $\tau$-缩放与批量归一化和 Fixup 进行比较，表明其在无需学习率预热或精细初始化缩放的情况下，提供了更强的稳定性保证。
• 在 CIFAR-10 上通过实证验证方法，使用 ResNet110 和 ResNet1202，比较 $\tau = 1/L$、$1/\sqrt{L}$ 和 $1/L^{1/4}$，并通过调整学习率评估鲁棒性。

实验结果

研究问题

• RQ1 在任意深度下，能保证深度 ResNets 前向与反向传播稳定性的锐利缩放因子 $\tau$ 是什么？
• RQ2 当 $\tau = O(1/\sqrt{L})$ 时，梯度下降能否在过参数化的 ResNets 中实现全局收敛？
• RQ3 在所提出的 $\tau$ 缩放下，梯度下降的收敛速率是否与网络深度无关？
• RQ4 $\tau$-缩放与批量归一化和 Fixup 相比，在训练稳定性和性能方面有何差异？
• RQ5 当 $\tau = 1/\sqrt{L}$ 时，ResNet 是否可在不使用归一化层的情况下实现有效训练？

主要发现

• 缩放因子 $\tau = O(1/\sqrt{L})$ 对于深度 ResNets 中的稳定前向与反向传播而言，既是必要也是充分条件。
• 当 $\tau = L^{-1/2 + c}$（对任意 $c > 0$）时，期望输出范数至少以 $L^c$ 的速度增长，证明了更大的 $\tau$ 会导致不稳定性。
• 当 $\tau \leq \tilde{O}(1/\sqrt{L})$ 时，过参数化的 ResNets 中梯度下降可实现全局收敛至全局最小值，且收敛速率与深度无关。
• 实证结果表明，采用 $\tau = 1/\sqrt{L}$ 的 ResNet 能够稳定训练，并在 CIFAR-10 上实现 92.5% 的验证准确率，无需归一化层，性能优于 Fixup 和 $\tau = 1/L$。
• 在已使用批量归一化的 ResNets 中加入 $\tau = 1/\sqrt{L}$ 可进一步提升性能，证明其具有互补优势。
• 该方法消除了对学习率预热的需求，而批量归一化在极深网络中仍存在不稳定性问题。