[论文解读] The exploding gradient problem demystified - definition, prevalence, impact, origin, tradeoffs, and solutions

George Philipp, Dawn Song+1 more|arXiv (Cornell University)|Dec 15, 2017

Neural Networks and Applications被引用 35

一句话总结

本文挑战了人们普遍认为批归一化或SELU等归一化技术能完全解决深层前馈网络中的梯度爆炸问题的信念。研究表明，即使在标准MLP架构中，梯度爆炸问题依然存在，限制了网络的训练深度。文章提出了“残差技巧”——通过毕达哥拉斯定理数学上简化梯度流动，从而实现更深、更稳定的训练，尤其在ResNets中表现显著。

ABSTRACT

Whereas it is believed that techniques such as Adam, batch normalization and, more recently, SeLU nonlinearities "solve" the exploding gradient problem, we show that this is not the case in general and that in a range of popular MLP architectures, exploding gradients exist and that they limit the depth to which networks can be effectively trained, both in theory and in practice. We explain why exploding gradients occur and highlight the *collapsing domain problem*, which can arise in architectures that avoid exploding gradients. ResNets have significantly lower gradients and thus can circumvent the exploding gradient problem, enabling the effective training of much deeper networks. We show this is a direct consequence of the Pythagorean equation. By noticing that *any neural network is a residual network*, we devise the *residual trick*, which reveals that introducing skip connections simplifies the network mathematically, and that this simplicity may be the major cause for their success.

研究动机与目标

• 挑战广泛持有的信念，即批归一化或SELU等归一化技术能消除深层前馈网络中的梯度爆炸问题。
• 研究尽管在权重初始化和归一化方面取得进展，为何梯度爆炸仍限制现代MLP架构的训练深度。
• 识别梯度爆炸的根本原因，并证明其并非仅由前向激活的不稳定性引起。
• 表明残差连接通过数学方式简化梯度流动，从而解释ResNets的成功不仅源于架构设计。
• 提出一种系统化的逐层学习率选择方法，以缓解梯度病理问题，提升训练稳定性和准确率。

提出的方法

• 提出一种基于训练过程中参数相对更新量的梯度爆炸新定义，而非梯度范数或雅可比矩阵特征值。
• 引入四阶段训练流程：预训练、选择（逐层步长的网格搜索）、裁剪（消除虚假的大更新）、平滑（对数线性回归以降低步长选择中的噪声）。
• 在最后阶段引入缩放操作，联合调整所有逐层学习率，确保稳定联合更新，同时防止参数更新过度。
• 采用相对更新量阈值（≥0.1）剔除导致不稳定的步长，提升泛化能力并减少超参数选择中的噪声。
• 使用一个小型回归数据集，记录各层更新幅度，拟合平滑的对数尺度线性模型，用于优化选定的学习率。
• 通过训练每种架构的三种变体（无裁剪、仅在缩放阶段裁剪、两个阶段均裁剪）验证结果，并选择最终训练误差最低的配置。

实验结果

研究问题

• RQ1 批归一化或SELU等归一化技术在标准MLP中在多大程度上真正消除了梯度爆炸问题？
• RQ2 为何即使通过归一化或初始化稳定了前向激活，梯度爆炸在深层前馈网络中仍持续存在？
• RQ3 残差网络实现更深训练的数学机制是什么？其与梯度流动有何关联？
• RQ4 系统化的、逐层学习率选择策略是否能显著提升深层网络的训练稳定性和最终性能？
• RQ5 梯度爆炸问题是数值误差的产物，还是无法通过简单自适应优化器解决的根本性优化障碍？

主要发现

• 即使在使用批归一化、权重初始化或SELU非线性激活的情况下，梯度爆炸问题在许多标准MLP架构中依然普遍存在，限制了有效深度。
• 稳定前向激活不足以防止梯度爆炸；问题的根本原因与反向传播梯度的几何结构及层间相互作用密切相关。
• 残差网络由于跳跃连接强制实现毕达哥拉斯关系，导致梯度显著降低，数学上简化了梯度流动。
• ‘残差技巧’——将任意网络视为残差网络——表明跳跃连接可降低梯度复杂度，增强训练稳定性。
• 所提出的四阶段学习率选择流程（预训练、选择、裁剪、平滑）相比标准单步长训练，将训练误差降低了最多10%。
• 在缩放阶段进行裁剪使5种测试架构中的4种最终测试误差降低，尤其在原始tanh和ReLU网络中效果显著，通过消除不稳定的步长提升了性能。