[論文レビュー] Fast-Slow Recurrent Neural Networks

Asier Mujika, Florian Meier+1 more|arXiv (Cornell University)|May 24, 2017

Neural Networks and Applications参考文献 21被引用数 41

ひとこと要約

本論文では、高速作用と低速作用のRNNセルを用いて、マルチスケールおよびディープトランジションRNNを統合することで、長期間の依存関係を効率的に学習し、入力の変化に素早く適応できる、新しいRNNアーキテクチャ「Fast-Slow Recurrent Neural Network (FS-RNN)」を提案する。アンサンブルを用いて、Penn Treebankでは1.19ビット/文字（BPC）という最先端の結果を達成し、Hutter Prize Wikipediaでも1.20 BPCを記録し、既存の最良の圧縮アルゴリズムを上回った。

ABSTRACT

Processing sequential data of variable length is a major challenge in a wide range of applications, such as speech recognition, language modeling, generative image modeling and machine translation. Here, we address this challenge by proposing a novel recurrent neural network (RNN) architecture, the Fast-Slow RNN (FS-RNN). The FS-RNN incorporates the strengths of both multiscale RNNs and deep transition RNNs as it processes sequential data on different timescales and learns complex transition functions from one time step to the next. We evaluate the FS-RNN on two character level language modeling data sets, Penn Treebank and Hutter Prize Wikipedia, where we improve state of the art results to $1.19$ and $1.25$ bits-per-character (BPC), respectively. In addition, an ensemble of two FS-RNNs achieves $1.20$ BPC on Hutter Prize Wikipedia outperforming the best known compression algorithm with respect to the BPC measure. We also present an empirical investigation of the learning and network dynamics of the FS-RNN, which explains the improved performance compared to other RNN architectures. Our approach is general as any kind of RNN cell is a possible building block for the FS-RNN architecture, and thus can be flexibly applied to different tasks.

研究の動機と目的

• 可変長かつ長期間の依存関係を持つ順序データのモデリングという課題に対処すること。
• マルチスケールおよびディープトランジションRNNの長所を統合することで、既存のRNNアーキテクチャを改善すること。
• 複雑な遷移関数を効率的に学習しつつ、計算効率を維持すること。
• 任意のRNNセルタイプ（例：LSTMやGRU）を構築ブロックとして使用可能な汎用的なフレームワークを提供すること。
• 本アーキテクチャが長期間の依存関係を保持でき、予期しない入力に迅速に適応できるかを実験的に検証すること。

提案手法

• FS-RNNアーキテクチャは、下層に2つの高速RNNセルと、上層に1つの低速RNNセルを配置し、低速セルはより低い頻度で更新される。
• 高速セルは高周波で入力を処理し、短期的な入力変化に素早く適応できる。
• 低速セルは粗い時間スケールで動作し、安定した隠れ状態を通じて長期間の依存関係を保存・伝達する。
• 本アーキテクチャは汎用的であり、LSTMやGRUなどの任意のRNNセルタイプで実装可能である。
• 訓練には標準的な時間遅延による誤差逆伝播法（backpropagation through time）を用い、勾配の流れを分析することで長期間記憶の保持が妥当であるかを検証した。
• 本ネットワークは、Penn TreebankおよびHutter Prize Wikipediaデータセットを用いた文字レベル言語モデルタスクで評価された。

実験結果

リサーチクエスチョン

• RQ1 高速・低速の処理時間スケールを統合したハイブリッドRNNアーキテクチャは、順序モデリングにおける長期間依存関係の学習を改善できるか？
• RQ2 FS-RNNは、スタックドLSTMおよび順次LSTMと比較して、勾配の流れおよび長期間記憶の保持においてどのように異なるか？
• RQ3 高速層は、たとえば単語の最初の文字のような予期しない高エントロピー入力に対し、より迅速に適応できるか？
• RQ4 FS-RNNは、最先端のモデルおよび既知の圧縮アルゴリズムを上回るビット/文字（BPC）性能を達成できるか？
• RQ5 本アーキテクチャの設計は、階層的な順序情報の表現を維持しつつ、効率的な学習および推論をどの程度可能にするか？

主な発見

• FS-RNNはPenn Treebankデータセットで1.19ビット/文字（BPC）という新記録を達成した。
• 2つのFS-RNNのアンサンブルは、Hutter Prize Wikipediaデータセットで1.20 BPCを達成し、既存の最良の圧縮アルゴリズムを上回った。
• 低速RNNセルは、時刻t-kのセル状態から時刻tの損失への勾配の大きさが最大であり、強力な長期間依存関係学習を示している。
• 高速RNNセルは時間経過に伴い状態の変化が最小限に抑えられており、短期間の情報のみを保持し、新しい入力に素早く適応していることが示唆された。
• 順次LSTMは時間経過に伴い勾配の減衰が著しく、FS-RNNやスタックドLSTMと比較して長期間記憶が劣っていることが示された。
• 最初の文字以降の文字予測において、FS-RNNはスタックドLSTMおよび順次LSTMを上回り、予期しない入力への適応能力が優れていることが示された。