[論文レビュー] A Critical Review of Recurrent Neural Networks for Sequence Learning

Zachary C. Lipton, John Berkowitz+1 more|arXiv (Cornell University)|May 29, 2015

Multimodal Machine Learning Applications参考文献 70被引用数 2,087

ひとこと要約

系列学習のための再帰的ニューラルネットワーク（RNN）の概要。LSTM や BRNN などのアーキテクチャ、勾配の消失・発散といった訓練課題、歴史的発展を扱い、生物学的妥当性より経験的結果を重視する。

ABSTRACT

Countless learning tasks require dealing with sequential data. Image captioning, speech synthesis, and music generation all require that a model produce outputs that are sequences. In other domains, such as time series prediction, video analysis, and musical information retrieval, a model must learn from inputs that are sequences. Interactive tasks, such as translating natural language, engaging in dialogue, and controlling a robot, often demand both capabilities. Recurrent neural networks (RNNs) are connectionist models that capture the dynamics of sequences via cycles in the network of nodes. Unlike standard feedforward neural networks, recurrent networks retain a state that can represent information from an arbitrarily long context window. Although recurrent neural networks have traditionally been difficult to train, and often contain millions of parameters, recent advances in network architectures, optimization techniques, and parallel computation have enabled successful large-scale learning with them. In recent years, systems based on long short-term memory (LSTM) and bidirectional (BRNN) architectures have demonstrated ground-breaking performance on tasks as varied as image captioning, language translation, and handwriting recognition. In this survey, we review and synthesize the research that over the past three decades first yielded and then made practical these powerful learning models. When appropriate, we reconcile conflicting notation and nomenclature. Our goal is to provide a self-contained explication of the state of the art together with a historical perspective and references to primary research.

研究の動機と目的

• 実世界のタスクにおいて、明示的に系列性をモデル化する価値を説明する。
• 逐次設定におけるマルコフモデルと従来のフィードフォワード net の限界を論じる。
• RNN アーキテクチャ、訓練課題、実践的な結果の一貫した、自己完結型の概要を提供する。

提案手法

• 3 つの decades Of RNN 研究をレビューし統合する。
• 矛盾する情報源を横断して表記を明確化し用語を統一する。
• RNN の前向き伝播と後向き伝播（backpropagation through time）の役割を説明する。

実験結果

リサーチクエスチョン

• RQ1 実務的なタスクや長距離依存性に対して、明示的な逐次モデリングがなぜ必要か。
• RQ2 RNN は時系列の依存関係と長距離の文脈を扱う際、マルコフモデルとどう異なるのか。
• RQ3 どのアーキテクチャ、訓練技術、最適化が大規模な RNN 学習を可能にしたのか。
• RQ4 RNN の発展における歴史的なマイルストーンと主要な経験的発見は何か。
• RQ5 LSTM や BRNN のような現代の RNN 派生が、訓練課題にどう対処し性能を向上させているのか。

主な発見

• RNN は固定コンテキスト ウィンドウを超える長距離依存性を捉えることができ、単純なウィンドウやマルコフモデルの限界を克服する。
• 勾配の消失・爆発といった訓練課題が、LSTM や関連アーキテクチャの開発を促した。
• 時系列全体での end-to-end 学習を可能にする backpropagation through time の導入。
• BRNNs と LSTM アーキテクチャ、最適化と並列計算の進歩が、系列タスクにおける実証的進歩を大きく推進した。
• NTMs（neural Turing machines）や外部記憶といった拡張は、RNN の能力をさらに拡張する。