[论文解读] Analysis on Gradient Propagation in Batch Normalized Residual Networks

Abhishek Panigrahi, Yueru Chen+1 more|arXiv (Cornell University)|Dec 2, 2018

Geophysical Methods and Applications参考文献 6被引用 5

一句话总结

本文对残差网络中的批量归一化（BN）进行了数学分析，表明BN与残差连接通过将梯度方差限制在各层内的有界范围内，共同稳定了梯度反向传播。关键贡献在于证明了BN对于防止梯度爆炸/消失至关重要，实验结果证实，即使保留残差连接，移除BN也会严重阻碍训练。

ABSTRACT

We conduct mathematical analysis on the effect of batch normalization (BN) on gradient backpropogation in residual network training, which is believed to play a critical role in addressing the gradient vanishing/explosion problem, in this work. By analyzing the mean and variance behavior of the input and the gradient in the forward and backward passes through the BN and residual branches, respectively, we show that they work together to confine the gradient variance to a certain range across residual blocks in backpropagation. As a result, the gradient vanishing/explosion problem is avoided. We also show the relative importance of batch normalization w.r.t. the residual branches in residual networks.

研究动机与目标

• 对批量归一化（BN）在残差网络中对梯度反向传播的影响进行数学分析。
• 理解BN与残差连接如何共同缓解训练过程中的梯度消失/爆炸问题。
• 量化BN与残差分支在实现深层残差网络稳定训练中的相对重要性。
• 提供理论与实证证据，证明即使存在残差连接，BN对于梯度稳定性也至关重要。

提出的方法

• 推导出包含批量归一化、卷积和ReLU激活的层中梯度传播的数学模型。
• 分析残差块中反向传播过程中梯度的均值与方差行为。
• 建立BN与残差分支之间相互作用的模型，以说明它们如何共同约束各层间梯度方差。
• 在CIFAR-10上通过三种变体进行实证评估：完整残差网络（BN + 残差）、仅BN、仅残差。
• 在不同训练阶段测量残差块间的梯度方差，以评估训练稳定性。
• 采用Xavier权重初始化，并跟踪训练/测试准确率与损失动态，以比较模型性能。

实验结果

研究问题

• RQ1 在反向传播过程中，批量归一化如何影响残差网络中的梯度方差传播？
• RQ2 批量归一化与残差连接在稳定训练中的相对贡献是什么？
• RQ3 即使存在残差跳跃连接，没有批量归一化的残差网络能否有效训练？
• RQ4 当BN被移除或保留时，梯度方差在残差块间如何演变？

主要发现

• 批量归一化与残差连接协同作用，将梯度方差限制在残差块间的稳定范围内，实现反向传播过程中的稳定。
• 移除批量归一化会导致立即出现梯度爆炸，使网络无法训练，这在仅含残差的模型中epoch 1即表现为损失未定义。
• 仅含批量归一化的模型（无残差分支）达到了90.6%的测试准确率，表明BN本身即可实现显著学习，尽管低于完整残差网络。
• 同时包含BN与残差分支的完整残差网络达到了92.5%的测试准确率，优于两种变体，表明两者对最优性能均不可或缺。
• 在包含BN的模型中（无论是否含残差分支），梯度方差保持有界；而当缺少BN时，梯度方差会爆炸，证实BN在梯度稳定性中的关键作用。
• 即使存在残差连接，缺少BN仍会导致训练失败，原因在于梯度动态失控，凸显BN在深层残差网络训练中的不可替代性。