[论文解读] Gradients explode - Deep Networks are shallow - ResNet explained

George Philipp, Dawn Song+1 more|arXiv (Cornell University)|Dec 15, 2017

Advanced Neural Network Applications参考文献 45被引用 35

一句话总结

本文表明，尽管采用了Adam、批量归一化和SeLU等流行技术，深度MLP中的梯度爆炸问题依然存在，限制了网络深度。文章解释称，ResNets通过一种数学特性避免了该问题：残差连接简化了网络的优化景观，通过‘残差技巧’减轻梯度爆炸，从而实现更深的训练。

ABSTRACT

Whereas it is believed that techniques such as Adam, batch normalization and, more recently, SeLU nonlinearities solve the exploding gradient problem, we show that this is not the case in general and that in a range of popular MLP architectures, exploding gradients exist and that they limit the depth to which networks can be effectively trained, both in theory and in practice. We explain why exploding gradients occur and highlight the *collapsing domain problem*, which can arise in architectures that avoid exploding gradients. ResNets have significantly lower gradients and thus can circumvent the exploding gradient problem, enabling the effective training of much deeper networks, which we show is a consequence of a surprising mathematical property. By noticing that *any neural network is a residual network*, we devise the *residual trick*, which reveals that introducing skip connections simplifies the network mathematically, and that this simplicity may be the major cause for their success.

研究动机与目标

• 调查为何在使用先进优化技术的情况下，深度前馈网络仍会遭受梯度爆炸问题。
• 识别在使用批量归一化和自适应优化器的情况下，主流MLP架构中梯度爆炸的根本原因。
• 通过分析其数学结构，解释为何ResNets能够比标准MLP实现更深的训练。
• 提出‘残差技巧’作为统一原则，揭示跳跃连接如何简化网络的优化过程。

提出的方法

• 分析深度MLP中的反向传播动态，以识别梯度爆炸发生的条件。
• 引入‘坍缩域问题’的概念，作为避免梯度爆炸的架构中的一种故障模式。
• 证明任何神经网络均可视为残差网络，揭示残差连接的数学等价性。
• 将‘残差技巧’形式化为一种变换，通过解耦残差映射来简化网络的梯度流动。
• 通过理论分析表明，残差连接可降低梯度方差并稳定深度网络的训练。
• 通过比较标准MLP与ResNets的梯度大小，实证验证了梯度爆炸的减少。

实验结果

研究问题

• RQ1 为何在使用Adam、批量归一化和SeLU的情况下，深度MLP中的梯度爆炸仍会持续存在？
• RQ2 ResNets的何种数学特性使其能够比标准MLP训练更深的网络？
• RQ3 ‘残差技巧’如何简化深度网络中的优化过程？
• RQ4 跳跃连接在防止深度架构中坍缩域问题中扮演什么角色？
• RQ5 所有前馈网络是否均可重新表述为残差网络以提升训练稳定性？

主要发现

• 即使使用Adam、批量归一化或SeLU激活函数，梯度爆炸仍是深度MLP中的根本性问题。
• 在设计用于避免梯度爆炸的架构中，坍缩域问题的出现表明优化稳定性存在权衡。
• 与标准MLP相比，ResNets表现出显著更低的梯度大小，从而能够有效训练更深的网络。
• ResNets的成功源于一种隐藏的数学简洁性：跳跃连接降低了优化路径的有效深度。
• ‘残差技巧’揭示出，残差连接将网络转化为一个更简单、更稳定的优化问题。
• 任何前馈网络均可重新表达为残差网络，表明残差结构是一种通用的简化机制。