[論文レビュー] Exact solutions to the nonlinear dynamics of learning in deep linear neural networks

Andrew Saxe, James L. McClelland+1 more|arXiv (Cornell University)|Dec 20, 2013

Model Reduction and Neural Networks参考文献 15被引用数 1,003

ひとこと要約

本稿は、深層線形ニューラルネットワークにおける非線形勾配降下ダイナミクスの正確な解析的解を提供し、特定の初期条件のもとでネットワークの深さが無限大に近づいても学習速度が有限のまま保たれることを明らかにした。学習速度が深さに依存しないのは、自己同型性（dynamical isometry）を実現することで、勾配の安定した流れを保証するためであり、これは非線形設定下でも『混沌の縁』（edge of chaos）に近接して動作する場合に成立する。

ABSTRACT

Despite the widespread practical success of deep learning methods, our theoretical understanding of the dynamics of learning in deep neural networks remains quite sparse. We attempt to bridge the gap between the theory and practice of deep learning by systematically analyzing learning dynamics for the restricted case of deep linear neural networks. Despite the linearity of their input-output map, such networks have nonlinear gradient descent dynamics on weights that change with the addition of each new hidden layer. We show that deep linear networks exhibit nonlinear learning phenomena similar to those seen in simulations of nonlinear networks, including long plateaus followed by rapid transitions to lower error solutions, and faster convergence from greedy unsupervised pretraining initial conditions than from random initial conditions. We provide an analytical description of these phenomena by finding new exact solutions to the nonlinear dynamics of deep learning. Our theoretical analysis also reveals the surprising finding that as the depth of a network approaches infinity, learning speed can nevertheless remain finite: for a special class of initial conditions on the weights, very deep networks incur only a finite, depth independent, delay in learning speed relative to shallow networks. We show that, under certain conditions on the training data, unsupervised pretraining can find this special class of initial conditions, while scaled random Gaussian initializations cannot. We further exhibit a new class of random orthogonal initial conditions on weights that, like unsupervised pre-training, enjoys depth independent learning times. We further show that these initial conditions also lead to faithful propagation of gradients even in deep nonlinear networks, as long as they operate in a special regime known as the edge of chaos.

研究の動機と目的

• 深層ニューラルネットワークにおける学習の非線形ダイナミクスを理解するための厳密な解析的フレームワークを構築すること。
• ネットワークの深さ、重み初期化、および教師なし事前学習が学習速度と収束に与える影響を調査すること。
• 非凸な損失関数の下でも、非常に深いネットワークにおいても学習が効率的である条件を同定すること。
• 勾配伝播の役割を分析し、勾配安定性を維持する初期化手法を同定すること。
• 線形ネットワークからの知見を非線形ネットワークへと拡張し、ダイナミカル・アイソメトリーが出現する『混沌の縁』（edge of chaos）の状態を分析すること。

提案手法

• 深層線形ネットワークにおける確率的勾配降下の重みダイナミクスを記述する非線形連立微分方程式系を導出し、その解を得る。
• 誤差関数に内在する対称性を活用することで、重み空間のダイナミクスにおける保存量を同定する。
• エンドツーエンドのヤコビ行列の特異値分布を分析し、層間における勾配伝播の安定性を評価する。
• 深さに依存しない学習時間を実現する新しいランダム直交初期化のクラスを導入し、その分析を行う。
• 数値シミュレーションを用いて、線形ネットワークと非線形ネットワークの学習ダイナミクスを、さまざまな初期化手法と比較する。
• 非線形ネットワークにおける『混沌の縁』（edge of chaos）の状態を定義・分析し、線形増幅と非線形飽和がバランスをとることで勾配ダイナミクスが維持されることを明らかにする。

実験結果

リサーチクエスチョン

• RQ1 深層線形ネットワークにおける学習が展開する時間スケールは何か？ また、学習速度は深さと初期化にどのように依存するか？
• RQ2 グリーディな教師なし事前学習は、どのような条件下で深層線形ネットワークの学習を加速するか？
• RQ3 ランダム直交初期化は深さに依存しない学習時間を達成できるか？ また、スケーリングされたガウス初期化と比べてどのように異なるか？
• RQ4 深層非線形ネットワークにおける勾配伝播はどのように振る舞うか？ また、誤差信号の安定したバックプロパゲーションを保証する条件は何か？
• RQ5 深層線形ネットワークにおけるダイナミクスは、実際の深層非線形ネットワークで観察される非線形学習行動をどの程度正確に近似できるか？

主な発見

• 特定の初期条件の下では、深さが無限大に近づいても、深層線形ネットワークにおける学習速度は有限かつ深さに依存しないまま保たれる。
• 教師なし事前学習は、深さに依存しない学習時間をもたらす特殊な初期条件を探索可能であるが、スケーリングされたランダムガウス初期化ではそれができない。
• ランダム直交初期化は、深層線形ネットワークにおいて深さに依存しない学習時間を達成でき、事前学習の性能と同等の結果を示す。
• 非線形ネットワークでは、ランダム直交初期化が『混沌の縁』（g = 1）で動作する際に、ダイナミカル・アイソメトリーを実現し、ヤコビ行列の特異値分布がほぼ恒等行列に近づく。
• 『混沌の縁』（g = 1）の状態では、100層のネットワークであっても、特異値のO(1)の割合が有界に保たれ、安定した勾配伝播が可能になる。
• 数値結果から、g = 1における特異値分布は入力分散の変化に対して頑健であり、gを増加させる摂動よりも、gを減少させる摂動に対してより安定していることが示された。