[論文レビュー] Analyzing and Exploiting NARX Recurrent Neural Networks for Long-Term Dependencies

Robert DiPietro, Christian Rupprecht+2 more|arXiv (Cornell University)|Feb 24, 2017

Topic Modeling参考文献 26被引用数 21

ひとこと要約

この論文は、遠い過去の状態から直接的な長距離接続を可能にする、新しいNARX再帰的ニューラルネットワークアーキテクチャであるMIST RNNを提案する。これにより勾配の流れが著しく改善され、勾配消失の影響が軽減される。LSTMとは異なり、MIST RNNはより少ないパラメータと計算量で長期間依存性タスクにおいて優れた性能を発揮し、手術用ジェスチャー認識およびスマートフォンの行動分類において、LSTMおよびClockwork RNNを上回る性能を示した。

ABSTRACT

Recurrent neural networks (RNNs) have achieved state-of-the-art performance on many diverse tasks, from machine translation to surgical activity recognition, yet training RNNs to capture long-term dependencies remains difficult. To date, the vast majority of successful RNN architectures alleviate this problem using nearly-additive connections between states, as introduced by long short-term memory (LSTM). We take an orthogonal approach and introduce MIST RNNs, a NARX RNN architecture that allows direct connections from the very distant past. We show that MIST RNNs 1) exhibit superior vanishing-gradient properties in comparison to LSTM and previously-proposed NARX RNNs; 2) are far more efficient than previously-proposed NARX RNN architectures, requiring even fewer computations than LSTM; and 3) improve performance substantially over LSTM and Clockwork RNNs on tasks requiring very long-term dependencies.

研究の動機と目的

• 勾配消失が性能に悪影響を及える中で、再帰的ニューラルネットワークにおける長期依存性学習という、長年の課題に取り組むこと。
• アーキテクチャの革新にもかかわらず、標準的なRNNやLSTMが遠く離れた時系列的依存性を捉えるのを困難としているという制限を克服すること。
• 計算量やパラメータの複雑さを増さずに、長期間にわたるシーケンスにおいても強い勾配の流れを維持できる、より効率的で効果的なNARX RNNの変種を開発すること。
• LSTMが加法的ゲートに依存するのとは対照的に、非隣接の状態間接続を可能にするという、勾配消失の問題に対する直交的で新しい解決アプローチを検討すること。
• NARXベースのアーキテクチャが、計算効率を保ちながらも、長期間依存性を必要とするタスクにおいてLSTMを上回ることを実証すること。

提案手法

• 過去の時刻ステップから現在の隠れ状態への直接的で非隣接の接続を導入する、NARX RNNアーキテクチャ「MIST RNN（Mixed History RNN）」を提案する。
• 遅延数 $n_d$ に基づき、勾配減衰の指数を $2^{n_d - 1}$ 倍小さくすることで、勾配の流れを著しく改善する。
• 階層的遅延構造を設計し、過去の状態への選択的で非連続的なアクセスを可能にすることで、従来のNARX RNNが示すパラメータと計算量の指数的増加を回避する。
• 標準的なRNN更新メカニズムにこれらの長距離接続を統合し、RNNのシンプルさを保ちながら、長期的な文脈を保持する能力を強化する。
• 完全な履歴モデル化ではなく、遅延接続の数を制限し、構造的かつスパースな接続パターンを用いることで、計算効率を維持する。
• 標準的な時間方向の誤差逆伝播法（backpropagation through time）を用いてモデルを学習し、標準的な再帰的パスに加えて、新たに導入された長距離パスを通じて勾配が流れることを保証する。

実験結果

リサーチクエスチョン

• RQ1 遠い過去の非隣接な状態から直接接続を持つNARX RNNアーキテクチャは、LSTMや従来のNARX RNNと比較して、より優れた勾配消失特性を示せるか？
• RQ2 RNNに長距離接続を可能にすることで、非常に長い期間の依存性をモデル化する必要があるタスクで、性能が向上するか？
• RQ3 このようなアーキテクチャは、LSTMと比較してパラメータや計算コストを維持または削減しつつ、より優れた性能を発揮できるか？
• RQ4 MIST RNNに組み込まれた階層的遅延構造は、標準的なRNNやLSTMと比較して、勾配の流れや学習の安定性にどのような影響を与えるか？
• RQ5 MIST RNNは、長期依存性を持つ実世界のシーケンスモデリングタスクにおいて、LSTMやClockwork RNNをどの程度上回れるか？

主な発見

• MIST RNNは、勾配減衰の指数を $2^{n_d - 1}$ 倍小さくすることで、LSTMおよび従来のNARX RNNと比較して著しく改善された勾配の流れを実現した。
• 手術用ジェスチャー認識タスクにおいて、MIST RNNはパラメータ数を半分にした状態でLSTMと同等の性能を達成し、パラメータ効率の優位性を示した。
• スマートフォンの行動分類タスク（MobiAct）において、MIST RNNは29.0% ± 5.2%のテスト誤差率を達成し、LSTM（38.8% ± 1.5%）およびLSTM+（37.8% ± 2.1%）を上回ったが、パラメータ数は少なく抑えられた。
• TIMITの音声認識タスクにおいて、MIST RNNは32.0% ± 0.3%の誤差率を達成し、LSTM（32.1% ± 0.2%）と同等の性能を示したが、パラメータ数と計算量を少なくした。
• 同じ隠れユニット数の条件下でも、MIST RNNはLSTMよりもさらに少ない計算量で動作し、計算効率の高さを裏付けた。
• これらの結果から、MIST RNNは長期依存性を捉える能力が優れているだけでなく、パラメータ数と計算量の両面で、LSTMおよび従来のNARX RNNを上回る効率性を示していることが明らかになった。