[論文レビュー] Recurrent Neural Networks (RNNs): A gentle Introduction and Overview

Robin M. Schmidt|arXiv (Cornell University)|Nov 23, 2019

Topic Modeling参考文献 16被引用数 150

ひとこと要約

RNNの基礎と進展の簡潔な概要で、BPTT、LSTMs、DRNNs、BRNNs、seq2seq、Attention、Transformer、および Pointer Networksを含む。

ABSTRACT

State-of-the-art solutions in the areas of "Language Modelling & Generating Text", "Speech Recognition", "Generating Image Descriptions" or "Video Tagging" have been using Recurrent Neural Networks as the foundation for their approaches. Understanding the underlying concepts is therefore of tremendous importance if we want to keep up with recent or upcoming publications in those areas. In this work we give a short overview over some of the most important concepts in the realm of Recurrent Neural Networks which enables readers to easily understand the fundamentals such as but not limited to "Backpropagation through Time" or "Long Short-Term Memory Units" as well as some of the more recent advances like the "Attention Mechanism" or "Pointer Networks". We also give recommendations for further reading regarding more complex topics where it is necessary.

研究の動機と目的

• Recurrent Neural Networks (RNNs)の基礎と、それらが系列データタスクでどのように使われるかを導入する。
• Backpropagation Through Time (BPTT)とその切り捨て変種を用いた学習を説明する。
• 主要なRNNアーキテクチャ（LSTMs、DRNNs、BRNNs）と高度なモデル（Encoder-Decoder、seq2seq、Attention、Transformer、Pointer Networks）を論じる。
• 基礎的な論文への言及を通じて、読み方や今後のトピックに関する指針を提供する。

提案手法

• RNNにおける隠れ状態と出力の数学的表記を提示する。
• Backpropagation Through Time (BPTT) の方程式を導出し、長期依存性を緩和するための切り捨てを強調する。
• LSTMのゲート計算とメモリセルの更新を説明する。
• Bidirectional RNNsが前向き/後向きの状態を組み合わせて出力を生成する方法を説明する。
• Encoder-Decoder (seq2seq) アーキテクチャとAttentionベースの拡張を紹介する。
• Transformerアーキテクチャとmulti-head self-attentionの役割を概説する。
• Pointer Networksをseq2seqの特殊化として導入し、出力を入力要素へのポインタとして生成する。

実験結果

リサーチクエスチョン

• RQ1 基本的なRNNとそれを含む前方伝播ネットワークとの違いは何か、学習手順とともに、基本的なRNNの核心的な計算ステップとは何か。
• RQ2 LSTMsおよび関連するゲート付きアーキテクチャは、長い系列における勾配消失/発散の問題をどのように解決するか。
• RQ3 Encoder-Decoderアーキテクチャ、Attention機構、およびTransformerモデルは、系列対系列タスクにおいてどのような役割を果たすか。
• RQ4 Pointer Networksはseq2seqを拡張し、固定語彙出力ではなく入力要素へのポインタを出力する方法とは。

主な発見

• BPTTはRNNを時系列ステップ間で勾配ベースの学習が可能なfeedforward様の構造へ展開する。
• Truncated BPTTはBackpropagation Through Timeの実用的な上限を提供し、計算負荷を減らし学習を安定させる。
• LSTMsはゲートとメモリセルを導入し、勾配消失を緩和し長い系列の学習を可能にする。
• Bidirectional RNNsは将来の文脈を取り入れるためにシーケンスを前後方向で処理し、隠れ状態を結合して出力に利用する。
• Encoder-Decoder (seq2seq)モデルは入力系列から出力系列へのマッピングを可能にし、Attentionはアライメントと性能を向上させる。
• Transformerモデルは再帰をSelf-Attentionに置換し、Multi-Head Attentionと位置エンコーディングを用いて並列化を実現する。Pointer Networksはseq2seqをさらに拡張し、出力を入力要素のポインタとして行う。