[論文レビュー] Dynamical Isometry and a Mean Field Theory of RNNs: Gating Enables Signal Propagation in Recurrent Neural Networks

Minmin Chen, Jeffrey Pennington+1 more|arXiv (Cornell University)|Jun 14, 2018

Neural Networks and Applications被引用数 15

ひとこと要約

本稿では、再帰的ニューラルネットワーク（RNN）における信号伝播を分析するための平均場理論およびランダム行列理論の枠組みを構築し、簡素化されたゲート付きRNNセルであるminimalRNNを導入する。ゲーティングが、vanilla RNNとは対照的にはるかに広く、ロバストな学習可能初期化領域を可能にすることを示し、動的等長性を達成する閉形式の臨界初期化を導出する。この初期化により、学習速度と性能が著しく向上し、minimalRNNは言語モデリングタスクにおいてGRU やLSTM と同等の性能を達成する。

ABSTRACT

Recurrent neural networks have gained widespread use in modeling sequence data across various domains. While many successful recurrent architectures employ a notion of gating, the exact mechanism that enables such remarkable performance is not well understood. We develop a theory for signal propagation in recurrent networks after random initialization using a combination of mean field theory and random matrix theory. To simplify our discussion, we introduce a new RNN cell with a simple gating mechanism that we call the minimalRNN and compare it with vanilla RNNs. Our theory allows us to define a maximum timescale over which RNNs can remember an input. We show that this theory predicts trainability for both recurrent architectures. We show that gated recurrent networks feature a much broader, more robust, trainable region than vanilla RNNs, which corroborates recent experimental findings. Finally, we develop a closed-form critical initialization scheme that achieves dynamical isometry in both vanilla RNNs and minimalRNNs. We show that this results in significantly improvement in training dynamics. Finally, we demonstrate that the minimalRNN achieves comparable performance to its more complex counterparts, such as LSTMs or GRUs, on a language modeling task.

研究の動機と目的

• ゲート付きRNN（LSTM やGRU）が、表現力に類似しているにもかかわらず、実用的にvanilla RNN より優れている理由を理解すること。
• 信号伝播と勾配の流れを分析することで、ゲーティングが学習可能性に与える役割を特定すること。
• 平均場理論およびランダム行列理論に基づく理論的枠組みを構築し、RNN における信号伝播が可能な最大時間スケールを予測すること。
• vanilla RNN およびゲート付きRNN において動的等長性を達成する閉形式の臨界初期化スキームを導出すること。
• 言語モデリングタスクにおいて、複雑なモデル（LSTM やGRU）と同等の性能を達成できる、最小限のシンプルなゲート付きRNN（minimalRNN）を実現すること。

提案手法

• vanilla RNN および minimalRNN における前向き信号伝播の平均場理論を構築し、情報が保持可能な最大時間スケールを導出する。
• ランダム行列理論を用いて minimalRNN のエンドツーエンドヤコビアンを分析し、前向き信号伝播とバックワード勾配の流れとの双対性を確立する。
• 重みとゲートの分散パラメータを調整することで、リャプノフ指数が1（χ₁ = 1）となるように設定することで、動的等長性を保証する臨界初期化スキームを導入する。
• 理論から得られる学習可能領域を予測し、系列モデリングタスクにおける実験的学習ダイナミクスと照合する。
• アーキテクチャの複雑さとは無関係にゲーティングの効果を分離するため、1つの学習可能なゲートを持つ簡素化されたゲート付きRNNセル（minimalRNN）を採用する。
• 系列予測および言語モデリングの実験を通じて理論的予測を検証し、初期化スキームおよびアーキテクチャごとの学習速度と収束性を比較する。

実験結果

リサーチクエスチョン

• RQ1 ゲーティングは、vanilla RNN と比較して、再帰的ニューラルネットワークの安定性と学習可能性にどのように影響するか？
• RQ2 ランダム初期化後のvanilla RNN およびゲート付きRNN において、信号が伝播可能な最大時間スケールは何か？
• RQ3 vanilla RNN およびゲート付きRNN において、動的等長性を達成する閉形式の初期化スキームを導出できるか？
• RQ4 動的等長性を達成することは、実際の学習速度と性能向上に顕著な効果をもたらすか？
• RQ5 最小限のシンプルなゲート付きRNN（minimalRNN）は、LSTM やGRU といった複雑なアーキテクチャと同等の性能を達成できるか？

主な発見

• vanilla RNN は、パrameter空間において1次元の直線（秩序と混沌の境界における直交行列）上でのみ動的等長性を達成でき、初期化に極めて敏感である。
• minimalRNN は、動的等長性を達成する多様な初期化の部分空間を有しており、vanilla RNN よりもはるかに学習可能である。
• 臨界に初期化されたRNN（vanilla RNN および minimalRNN）は、非臨界初期化と比較して、最大2桁の速度向上を達成する。特にvanilla RNN では収束までのステップ数に16,000ステップの差が生じる。
• minimalRNN はPenn Treebankコーパス（2000万パラメータ）においてテストパープレクシティ89.9を達成し、GRU（89.8）と同等の性能を示し、LSTM（83.8）に対しても高い性能を発揮する。
• vanilla RNN では初期化法（直交初期化対ガウス初期化）の選択が学習速度に顕著な影響を及ぼすが、minimalRNN ではその影響がほとんどないため、ゲーティングのロバスト性が裏付けられる。
• 理論的予測は、最大学習可能時間スケールを正確に予測しており、理論的予測と実験的学習ダイナミクスの間で強い整合性が確認された。