[論文レビュー] Gated Feedback Recurrent Neural Networks

Jun‐Young Chung, Çaǧlar Gülçehre+2 more|arXiv (Cornell University)|Feb 9, 2015

Neural Networks and Applications参考文献 23被引用数 416

ひとこと要約

本稿では、グローバルゲーティング機構を介して上位層から下位層へ適応的かつ学習可能なフィードバック接続を導入することにより、スタックド再帰的ネットワークの性能を向上させる、Gated-Feedback Recurrent Neural Networks (GF-RNN) と呼ばれる新しい深層RNNアーキテクチャを提案する。この手法は、長期依存関係および階層的な系列構造のモデリングを改善し、文字レベルの言語モデリングおよびPythonプログラム評価タスクにおいて、標準のスタックドRNNよりも高速な収束とより優れた一般化性能を達成し、最先端の性能を実現した。

ABSTRACT

In this work, we propose a novel recurrent neural network (RNN) architecture. The proposed RNN, gated-feedback RNN (GF-RNN), extends the existing approach of stacking multiple recurrent layers by allowing and controlling signals flowing from upper recurrent layers to lower layers using a global gating unit for each pair of layers. The recurrent signals exchanged between layers are gated adaptively based on the previous hidden states and the current input. We evaluated the proposed GF-RNN with different types of recurrent units, such as tanh, long short-term memory and gated recurrent units, on the tasks of character-level language modeling and Python program evaluation. Our empirical evaluation of different RNN units, revealed that in both tasks, the GF-RNN outperforms the conventional approaches to build deep stacked RNNs. We suggest that the improvement arises because the GF-RNN can adaptively assign different layers to different timescales and layer-to-layer interactions (including the top-down ones which are not usually present in a stacked RNN) by learning to gate these interactions.

研究の動機と目的

• 深層再帰的ネットワークを用いた逐次データにおける長期依存関係のモデリングの課題に対処すること。
• 層間の適応的かつ上位からのフィードバック信号を可能にすることで、スタックドRNNの表現能力を向上させること。
• 層間フィードバックの学習可能なゲーティングが、複雑な系列モデリングタスクの性能を向上させるかどうかを検証すること。
• 大規模な系列モデリングベンチマークにおいて、提案アーキテクチャのスケーラビリティおよび効率性を評価すること。

提案手法

• GF-RNNアーキテクチャは、複数の再帰層をスタックし、隣接する層ペアごとにグローバルゲーティングユニットを導入して、上位層から下位層へのフィードバック信号を制御する。
• ゲーティング機構は、現在の入力および以前の隠れ状態に基づいて、フィードバック接続の強度を適応的に調節することで、層間相互作用の動的制御を可能にする。
• モデルはLSTM、GRU、またはtanhといった標準のRNNユニットを用いるが、上位からの情報フローを可能にするためにゲーティングフィードバックを拡張している。標準のスタックドRNNには存在しない。
• フィードバック接続は完全に微分可能であり、時間に沿った誤差逆伝播（backpropagation through time）を用いてエンドツーエンドで訓練される。ゲーティングユニットは、入力および隠れ状態の関数として学習可能な関数としてパrameter化されている。
• 残差接続および非残差接続の両方をサポートしており、フィードバックパスを備えた深層ネットワークの安定した学習を可能にする。
• 実験では、Adam最適化法を用い、学習率0.001および$eta_1=0.9$, $eta_2=0.99$を設定して、文字レベルの言語モデリングおよびPythonプログラム評価タスクの学習を実施した。

実験結果

リサーチクエスチョン

• RQ1 スタックドRNN層間の適応的フィードバック接続は、逐次データにおける長期依存関係のモデリングを改善できるか？
• RQ2 学習可能なゲートを介した上位からのフィードバックの導入は、標準のスタックドRNNと比較して、複雑な系列タスクの性能を向上させるか？
• RQ3 複数層を有する深層ネットワークに適用した場合、GF-RNNアーキテクチャの性能および学習効率はどのようにスケーリングするか？
• RQ4 LSTM、GRU、tanhといった異なる再帰ユニットをゲーティングフィードバック接続と組み合わせた場合、その影響は何か？

主な発見

• GF-RNNは、Hutterデータセットにおいて、文字レベルの言語モデリングで標準のスタックドRNNを上回り、テストセットのBPCが1.58に達した。これは、以前に報告された最良の結果（1.60）を上回るものである。
• Pythonプログラム評価タスクでは、GF-RNNはスタックドRNNを著しく上回り、特にネスト深さが高く、または長大なシーケンスにおいて顕著な性能向上が見られた。赤および黄色の領域が示すように、精度差のヒートマップから大きな性能向上が確認された。
• 5層のスタックドLSTM（各層700ユニット）を用いたGF-RNNは、文字レベルの言語モデリングで最先端の性能を達成し、スケーラビリティおよび強力な一般化能力を示した。
• 同等の容量を持つ標準のスタックドRNNと比較して、GF-RNNはウォールクロックタイムでより速く学習が完了した。これは、訓練効率の向上を示している。
• LSTMまたはGRUユニットを用いた場合、性能向上が顕著であったが、tanhユニットを用いたGF-RNNでは性能低下が見られた。これは、活性化関数の選択に敏感である可能性を示唆している。