[論文レビュー] Recent Advances in Recurrent Neural Networks

Hojjat Salehinejad, Sharan Sankar+3 more|arXiv (Cornell University)|Dec 29, 2017

Time Series Analysis and Forecasting参考文献 96被引用数 580

ひとこと要約

リカレントニューラルネットワーク（RNN）の基本、消失・爆発勾配などの学習課題、BPTT、LSTMの派生、HF/Adam EKFアプローチを含むアーキテクチャと最適化手法の調査。

ABSTRACT

Recurrent neural networks (RNNs) are capable of learning features and long term dependencies from sequential and time-series data. The RNNs have a stack of non-linear units where at least one connection between units forms a directed cycle. A well-trained RNN can model any dynamical system; however, training RNNs is mostly plagued by issues in learning long-term dependencies. In this paper, we present a survey on RNNs and several new advances for newcomers and professionals in the field. The fundamentals and recent advances are explained and the research challenges are introduced.

研究の動機と目的

• 離散時間RNNの基本と、隠れ状態を通じた記憶の機構を説明する。
• 消失勾配・爆発勾配などの学習上の課題とその原因を検討する。
• 時系列モデリングにおける主要なRNNアーキテクチャと正則化手法を調べる。
• 勾配ベース、カルマンフィルタベース、二次（ second-order ）、グローバル探索戦略を含む最適化・学習手法を強調する。

提案手法

• 入力層・隠れ層・出力層を持つ標準的なRNNの定式化と、状態更新および出力の式を提示する。
• 活性化関数と勾配の流れ・学習への影響について議論する。
• BPTT（タイムを通じた誤差逆伝播法）、勾配クリッピング、最適化アルゴリズム（SGD、Adam、モーメンタム、Nesterov）を含む学習法を調査する。
• 拡張カルマンフィルタ（EKF）ベースの学習と、オンライン学習のためのデカップル化変種を説明する。
• ヘッセ行列を用いない最適化（Hessian-Free）と、それが深層・再帰モデルの訓練に果たす役割を説明する。
• RNNのトポロジーとパラメータ探索のためのグローバル最適化アプローチと進化的方法を扱う。

実験結果

リサーチクエスチョン

• RQ1 長期依存性を持つRNNの学習での核心的な課題は何か？
• RQ2 勾配ベース・非勾配ベースのさまざまな方法は、RNNにおける消失・爆発勾配にどう対処するか？
• RQ3 さまざまなRNNアーキテクチャと学習 regime が時系列タスクの性能に与える影響は？
• RQ4 RNN学習に適用可能な最適化フレームワーク（二次法、HF、カルマンベース、グローバル）と、それらが有利になる状況は？

主な発見

• RNNは動的システムをモデル化できるが、学習は消失・爆発勾配によって妨げられる。
• 時系列をまたぐ誤差逆伝播法は勾配を時間的に拡張し、長期依存の課題を示す。
• SGD、Adam、モーメンタム、勾配クリッピング、EKF/DEKF、Hessian-Free最適化など、多様な学習法が存在する。
• 深い遷移部または深い出力を持つハイブリッドアーキテクチャは、特定のタスクで性能を向上させ得る。
• グローバル最適化と進化戦略は、より高い複雑さにもかかわらず、トポロジーとパラメータ調整の代替手段を提供する。
• HF最適化とオンラインEKFベースの手法は、非定常データやオンラインデータでのRNN訓練に有望を示している。