[論文レビュー] Improving the Gating Mechanism of Recurrent Neural Networks

Albert Gu, Çaǧlar Gülçehre+3 more|arXiv (Cornell University)|Oct 22, 2019

Neural Networks and Applications参考文献 47被引用数 30

ひとこと要約

本稿では、微調整ゲートと均一なゲート初期化を組み合わせたURゲーティング機構を提案する。この機構により、特に飽和ゲート領域における勾配の流れが改善され、再帰的ニューラルネットワークの学習性能が向上する。本手法は、合成メモリタスク、順序付き画像分類、言語モデリング、強化学習の分野で、標準LSTMを上回る性能を示し、特に長時間スケールのタスクで顕著な向上を示す。

ABSTRACT

Gating mechanisms are widely used in neural network models, where they allow gradients to backpropagate more easily through depth or time. However, their saturation property introduces problems of its own. For example, in recurrent models these gates need to have outputs near 1 to propagate information over long time-delays, which requires them to operate in their saturation regime and hinders gradient-based learning of the gate mechanism. We address this problem by deriving two synergistic modifications to the standard gating mechanism that are easy to implement, introduce no additional hyperparameters, and improve learnability of the gates when they are close to saturation. We show how these changes are related to and improve on alternative recently proposed gating mechanisms such as chrono initialization and Ordered Neurons. Empirically, our simple gating mechanisms robustly improve the performance of recurrent models on a range of applications, including synthetic memorization tasks, sequential image classification, language modeling, and reinforcement learning, particularly when long-term dependencies are involved.

研究の動機と目的

• ゲートが飽和状態にある際、勾配が消失し学習が妨げられる再帰的ネットワークにおけるvanishing gradient問題に対処すること。
• 標準的なゲート初期化の制限を克服し、モデルが初期段階で取り扱える時間スケールの範囲を拡大すること。
• 追加のハイパーパramータ、パラメータ、計算コストを追加せずに、長期依存関係タスクにおけるゲートの学習可能性を向上させること。
• 任意のゲーティングRNN（LSTMやGRUを含む）に適用可能な、シンプルでモジュラーなゲーティング機構を開発すること。
• 多様なベンチマークで堅牢な性能向上を示し、特に長期記憶や階層的構造のモデリングを要するタスクで顕著な改善を達成すること。

提案手法

• 主ゲートが飽和していても、より安定した勾配を保つために、主ゲートを調整する微調整ゲートを導入する。
• 学習可能な補助的微調整ゲートを用いて、主ゲートの有効出力を制御し、主ゲートの飽和と勾配の流れを分離する。
• ゲート活性化を[0,1]の一様分布から初期化する均一なゲート初期化（UGI）を提案し、初期の時間スケールの多様性を向上させる。
• 微調整ゲートとUGIを統合し、標準的なRNNと互換性があり、追加のハイパーパramータを必要としないURゲーティング機構を構築する。
• UR機構をLSTMの忘却ゲートおよび入力ゲートに適用し、標準LSTMと同等の計算およびメモリのオーバーヘッドを維持する。
• モジュラーかつ交換可能な構造を設計し、類似する代替品（例：代替ゲートタイプや初期化方式）への容易な置き換えを可能にする。

実験結果

リサーチクエスチョン

• RQ1 モデルの複雑さを増さずに、飽和領域における勾配の流れを改善する微調整ゲーティング機構は有効か？
• RQ2 ゲート活性化を一様分布で初期化することで、初期段階から多様な時間的依存関係を学習できるようになるか？
• RQ3 URゲーティング機構は、chrono初期化やOrdered Neuronsといった既存手法と比較して、長期依存関係をどのように処理するか？
• RQ4 UR機構による改善は、LSTM や RMC といった異なるアーキテクチャ、および言語モデリング や強化学習 といった異なるタスクに、どの程度一般化されるか？
• RQ5 UR機構は、追加のハイパーパramータや計算コストを追加せずに、ゲーティングRNNに普遍的に適用可能か？

主な発見

• UR-LSTMは、標準LSTMでは解けない合成メモリタスクを解けることを示し、長期記憶の保持性能が向上していることが確認された。
• 順序付きMNISTおよびCIFAR-10のタスクでは、UR-LSTMが標準LSTMや先行研究のベースラインを上回り、最先端の性能を達成した。
• WikiText-103における言語モデリングでは、UR-LSTMが標準LSTMを常に上回り、特に長距離依存関係の処理において顕著な改善を示した。
• 大規模な干渉報酬を伴うActive Matchのような強化学習タスクにおいて、UR-LSTMおよびUR-DNCモデルが唯一、ランダムな選択を上回る性能を示し、長時間スケール意思決定における頑健性を示した。
• UR機構は他の再帰的コアに対しても一般化がうまくいく：UR-RMCは、Learning to ExecuteベンチマークのControlおよびProgramタスクで、標準RMCを上回った。特に階層的かつ長時間スケールのシーケンス設定で顕著な向上を示した。
• 微調整ゲート機構により、UR-LSTMの最小の忘却ユニットが、標準LSTMよりも1桁以上小さい特徴的な時間スケールを持つことが判明し、時間的ダイナミクスに対するより良い制御が可能であることが示された。