[论文解读] Exact solutions to the nonlinear dynamics of learning in deep linear neural networks

Andrew Saxe, James L. McClelland+1 more|arXiv (Cornell University)|Dec 20, 2013

Model Reduction and Neural Networks参考文献 15被引用 1,003

一句话总结

本文为深度线性神经网络中的非线性梯度下降动力学提供了精确的解析解，揭示了在特定初始条件下，即使网络深度趋于无穷，学习速度仍可保持有限。研究证明，无监督预训练和随机正交权重初始化可通过实现动力学等距性，使学习时间与网络深度无关，从而在深层网络中实现稳定的梯度传播——即使在非线性设置下，当系统运行在‘混沌边缘’时亦是如此。

ABSTRACT

Despite the widespread practical success of deep learning methods, our theoretical understanding of the dynamics of learning in deep neural networks remains quite sparse. We attempt to bridge the gap between the theory and practice of deep learning by systematically analyzing learning dynamics for the restricted case of deep linear neural networks. Despite the linearity of their input-output map, such networks have nonlinear gradient descent dynamics on weights that change with the addition of each new hidden layer. We show that deep linear networks exhibit nonlinear learning phenomena similar to those seen in simulations of nonlinear networks, including long plateaus followed by rapid transitions to lower error solutions, and faster convergence from greedy unsupervised pretraining initial conditions than from random initial conditions. We provide an analytical description of these phenomena by finding new exact solutions to the nonlinear dynamics of deep learning. Our theoretical analysis also reveals the surprising finding that as the depth of a network approaches infinity, learning speed can nevertheless remain finite: for a special class of initial conditions on the weights, very deep networks incur only a finite, depth independent, delay in learning speed relative to shallow networks. We show that, under certain conditions on the training data, unsupervised pretraining can find this special class of initial conditions, while scaled random Gaussian initializations cannot. We further exhibit a new class of random orthogonal initial conditions on weights that, like unsupervised pre-training, enjoys depth independent learning times. We further show that these initial conditions also lead to faithful propagation of gradients even in deep nonlinear networks, as long as they operate in a special regime known as the edge of chaos.

研究动机与目标

• 开发一个严格的解析框架，以理解深度神经网络中学习的非线性动力学。
• 研究网络深度、权重初始化和无监督预训练如何影响学习速度与收敛性。
• 识别在非凸损失曲面下，学习在极深网络中仍保持高效性的条件。
• 探讨梯度传播在深层网络中的行为，并识别能保持梯度稳定性的初始化方案。
• 通过分析动力学等距性出现的‘混沌边缘’区域，将线性网络的洞见拓展至非线性网络。

提出的方法

• 推导并求解描述深度线性网络中随机梯度下降期间权重动力学的非线性耦合微分方程组。
• 通过利用误差函数中的对称性，识别权重空间动力学中的守恒量。
• 分析端到端雅可比矩阵的奇异值分布，以评估跨层梯度传播的稳定性。
• 引入并分析一类新型随机正交权重初始化方法，其可保持与深度无关的学习时间。
• 使用数值模拟比较线性网络与非线性网络的学习动力学，特别是在不同初始化方案下的表现。
• 定义并分析非线性网络中的‘混沌边缘’区域，即线性放大与非线性饱和达到平衡，从而保持梯度动力学的区域。

实验结果

研究问题

• RQ1 是什么决定了深度线性网络中学习展开的时间尺度？学习速度如何依赖于深度和初始化？
• RQ2 在何种条件下，贪婪的无监督预训练能加速深度线性网络中的学习？
• RQ3 随机正交权重初始化能否实现与深度无关的学习时间？其与缩放后的高斯初始化相比表现如何？
• RQ4 在深度非线性网络中，梯度传播行为如何？何种条件能确保误差信号的稳定反向传播？
• RQ5 深度线性网络的动力学在多大程度上能近似真实深度非线性网络中观察到的非线性学习行为？

主要发现

• 对于一类特殊初始条件，深度线性网络中的学习速度即使在深度趋于无穷时仍保持有限且与深度无关。
• 无监督预训练可找到实现与深度无关学习时间的特殊初始条件，而缩放后的随机高斯初始化则无法实现。
• 随机正交权重初始化在深度线性网络中实现了与深度无关的学习时间，其性能与预训练相当。
• 在非线性网络中，随机正交初始化在‘混沌边缘’（增益 g = 1）下可实现动力学等距性——即雅可比矩阵奇异值分布接近单位矩阵。
• 混沌边缘区域（g = 1）可确保即使在100层网络中，仍有O(1)比例的奇异值保持有界，从而实现稳定的梯度传播。
• 数值结果表明，当g = 1时，奇异值分布对输入方差的变化具有鲁棒性，且在g增加的扰动下比在g减小的扰动下更稳定。