[論文レビュー] Gating creates slow modes and controls phase-space complexity in GRUs and LSTMs

Tankut Can, Kamesh Krishnamurthy+1 more|arXiv (Cornell University)|Jan 31, 2020

Neural Networks and Reservoir Computing参考文献 37被引用数 8

ひとこと要約

この論文は、ランダム行列理論と平均場理論を用いて、GRUおよびLSTMにおけるゲーティング機構が再帰的ニューラルネットワークのダイナミクスにどのように影響を与えるかを分析している。GRUの更新ゲートが固有値が1に近い遅いモードを生成し、長期記憶を可能にするのに対し、リセットゲートは固有値半径と位相空間の複雑さを制御する。LSTMのフォグェットゲートも同様に遅いモードを促進し、すべてのゲートは学習安定性と性能に不可欠なスペクトル特性を調整する。

ABSTRACT

Recurrent neural networks (RNNs) are powerful dynamical models for data with complex temporal structure. However, training RNNs has traditionally proved challenging due to exploding or vanishing of gradients. RNN models such as LSTMs and GRUs (and their variants) significantly mitigate these issues associated with training by introducing various types of gating units into the architecture. While these gates empirically improve performance, how the addition of gates influences the dynamics and trainability of GRUs and LSTMs is not well understood. Here, we take the perspective of studying randomly initialized LSTMs and GRUs as dynamical systems, and ask how the salient dynamical properties are shaped by the gates. We leverage tools from random matrix theory and mean-field theory to study the state-to-state Jacobians of GRUs and LSTMs. We show that the update gate in the GRU and the forget gate in the LSTM can lead to an accumulation of slow modes in the dynamics. Moreover, the GRU update gate can poise the system at a marginally stable point. The reset gate in the GRU and the output and input gates in the LSTM control the spectral radius of the Jacobian, and the GRU reset gate also modulates the complexity of the landscape of fixed-points. Furthermore, for the GRU we obtain a phase diagram describing the statistical properties of fixed-points. We also provide a preliminary comparison of training performance to the various dynamical regimes realized by varying hyperparameters. Looking to the future, we have introduced a powerful set of techniques which can be adapted to a broad class of RNNs, to study the influence of various architectural choices on dynamics, and potentially motivate the principled discovery of novel architectures.

研究の動機と目的

• ランダムに初期化されたRNNにおけるGRUおよびLSTMのアーキテクチャ的ゲートが、ダイナミカルな性質にどのように影響を与えるかを理解すること。
• RNNにおけるゲーティングが学習と性能を向上させる理由について、理論的裏付けが不足している点を解消すること。
• 統計力学的手法を用いて、GRUおよびLSTMにおける状態間ヤコビアンのスペクトル特性を特徴付けること。
• ゲートの重みといったハイパーパrameterがダイナミカルな領域と固定点の複雑さに与える影響をマッピングすること。
• ゲート設計とダイナミカルな挙動の関連性を理論的基盤として提供し、より良いRNNアーキテクチャの設計を可能にすること。

提案手法

• 初期化時の状態間ヤコビアンのスペクトルを分析するために、ランダム行列理論（RMT）を適用する。
• ランダム重み初期化下でのヤコビアン固有値の統計的性質を計算するために、平均場理論（MFT）を用いる。
• 特に1に近い領域におけるスペクトル半径および固有値密度の解析的表現を導出し、遅いモードを特定する。
• 再帰的接続によりエントリに相関を持つランダム行列としてヤコビアンをモデル化し、フィードフォワードネットワークとは区別する。
• 更新ゲートとリセットゲートの重み（$a_z$, $a_r$）を変化させることでGRUの位相図を構築し、ダイナミカルな領域間の遷移を同定する。
• 理論的予測の妥当性を検証するため、異なるダイナミカルな領域で順序付きMNISTの学習性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 GRUの更新ゲートとリセットゲートは、状態間ヤコビアンのスペクトルにどのように影響を与えるか？
• RQ2 LSTMのフォグェットゲートは、ダイナミクスにおける遅いモードの生成に果たす役割は何か？
• RQ3 GRUおよびLSTMのさまざまなゲートは、固有値半径と位相空間の複雑さをどのように制御するか？
• RQ4 ハイパーパrameterの選択とダイナミカルな挙動の関係をマッピングするGRUの位相図を導出できるか？
• RQ5 理論的なダイナミカルな領域と、順序付きタスクにおける実際の学習性能の相関関係は何か？

主な発見

• GRUの更新ゲートは、ヤコビアン固有値が1に凝集するのを引き起こし、遅いモードを生成することで長期記憶と限界的安定性を可能にする。
• GRUのリセットゲートは固有値半径を制御し、位相空間内の固定点のトポロジカルな複雑さを調整する。
• LSTMのフォグェットゲートは、主に固有値が1に集積する原因となり、持続的記憶に寄与する。
• GRUおよびLSTMのすべてのゲートが固有値半径に影響を与えるが、その影響の大きさと機能的役割は異なる。
• GRUにおいて、入力ゲートに関してはスペクトル半径が $\rho({\bf J}_t) = \Theta(\sqrt{a_i})$ に比例し、出力ゲートに関しては $\rho({\bf J}_t) = \Theta(\sqrt{a_o})$ に比例する。
• 順序付きMNISTにおける実験的学習では、$a_h = 2.0$ の周辺で最適な学習速度と精度が達成され、ゼロ固定点が不安定化する遷移が観察される——これは混沌との縁辺付近の遷移を示唆している。