[論文レビュー] Dynamical Isometry and a Mean Field Theory of LSTMs and GRUs

Dar Gilboa, Bo Chang+5 more|arXiv (Cornell University)|Jan 25, 2019

Neural Networks and Applications参考文献 31被引用数 25

ひとこと要約

この論文は、LSTMおよびGRUにおける信号伝播の平均場理論を導入し、動的等長性（dynamical isometry）を達成する新たな重み初期化手法を導出する。これにより、前方および後方の信号伝播が安定化され、長時間系列タスクにおける効果的な学習が可能になる。この手法は、学習速度と一般化性能を向上させ、長時間系列において標準的な初期化と比較して、桁違いの性能向上を達成する。

ABSTRACT

Training recurrent neural networks (RNNs) on long sequence tasks is plagued with difficulties arising from the exponential explosion or vanishing of signals as they propagate forward or backward through the network. Many techniques have been proposed to ameliorate these issues, including various algorithmic and architectural modifications. Two of the most successful RNN architectures, the LSTM and the GRU, do exhibit modest improvements over vanilla RNN cells, but they still suffer from instabilities when trained on very long sequences. In this work, we develop a mean field theory of signal propagation in LSTMs and GRUs that enables us to calculate the time scales for signal propagation as well as the spectral properties of the state-to-state Jacobians. By optimizing these quantities in terms of the initialization hyperparameters, we derive a novel initialization scheme that eliminates or reduces training instabilities. We demonstrate the efficacy of our initialization scheme on multiple sequence tasks, on which it enables successful training while a standard initialization either fails completely or is orders of magnitude slower. We also observe a beneficial effect on generalization performance using this new initialization.

研究の動機と目的

• 長時間系列タスクにおけるLSTMおよびGRUの学習不安定性（勾配消失・爆発）を解消すること。
• 再帰的ネットワークにおける信号伝播およびヤコビ行列の固有値特性を分析する理論的枠組みを構築すること。
• 動的等長性を保証する原理的初期化手法を導出すること。
• 最適化された初期化が、学習効率および一般化性能の両方を向上させることを実証すること。

提案手法

• 平均場理論を用いて、LSTMおよびGRUにおける前方信号伝播と後方勾配の安定性をモデル化する。
• ランダム行列理論を用いて状態間ヤコビ行列の固有値特性を分析し、勾配の安定な流れを保証する。
• 異なる初期化ハイパーパrameterのもとでの相関進化および特異値モーメントの固定点方程式を導出する。
• 重みおよびバイアスの分布の平均と分散を最適化し、動的等長性を達成する初期化ハイパーパrameterを決定する。
• LSTMにおける定常セル状態分布を正確にモーメント計算するために、サンプリングアルゴリズムを用いる。
• MNISTおよびCIFAR-10タスクにおけるシミュレーションと実験を通じて予測を検証し、さまざまな時間系列長を想定する。

実験結果

リサーチクエスチョン

• RQ1 LSTMおよびGRUにおける安定な信号伝播を達成するための初期化ハイパーパrameterは何か？
• RQ2 状態間ヤコビ行列の固有値特性は、再帰的ネットワークの学習安定性にどのように影響するか？
• RQ3 平均場理論は、信号伝播の時間スケールおよび勾配安定性を正確に予測できるか？
• RQ4 この理論から導出された臨界初期化スキームは、長時間系列タスクにおける学習速度と一般化性能を向上させるか？

主な発見

• 提案された初期化手法により、標準的な初期化が失敗するか指数関数的に遅延する長時間系列タスクに対しても、LSTMの成功した学習が可能になる。
• 臨界初期化により、MNISTおよびCIFAR-10などの長時間系列タスクにおける学習時間が桁違いに短縮される。
• 重みおよびバイアス分布の平均と分散のバランスを取ることで、前方および後方の信号伝播が安定化され、動的等長性が達成される。
• 実験結果から、予測された信号伝播時間スケールが、特に重みが分離されていない（untied）仮定下で、学習性能と強く相関していることが示された。
• 理論的予測とシミュレーション結果が非常に近接しており、GRUおよびLSTMの両方において平均場近似の有効性が裏付けられた。
• 最適化された初期化により、一般化性能が向上しており、最適化がより一般化可能な解へと導くことが示唆された。