[論文レビュー] Understanding LSTM -- a tutorial into Long Short-Term Memory Recurrent Neural Networks

Ralf C. Staudemeyer, Eric Rothstein Morris|arXiv (Cornell University)|Sep 12, 2019

Neural Networks and Applications被引用数 497

ひとこと要約

LSTM-RNNの進化を再検討し、表記を統一し、FFNN、バックプロパゲーション、再帰ニューラルネットの学習を含む初期の刊行物からの核心概念を解説するチュートリアル。

ABSTRACT

Long Short-Term Memory Recurrent Neural Networks (LSTM-RNN) are one of the most powerful dynamic classifiers publicly known. The network itself and the related learning algorithms are reasonably well documented to get an idea how it works. This paper will shed more light into understanding how LSTM-RNNs evolved and why they work impressively well, focusing on the early, ground-breaking publications. We significantly improved documentation and fixed a number of errors and inconsistencies that accumulated in previous publications. To support understanding we as well revised and unified the notation used.

研究の動機と目的

• LSTM-RNNが初期のパーセプトロンベースのモデルからどのように進化したのか、なぜうまく機能するのかを明らかにする。
• 歴史的論文から生じる混乱を減らすための統一表記を提供する。
• 基礎概念の解説：パーセプトロン、シグモイド単位、FFNN、バックプロパゲーション、再帰的アーキテクチャ。
• RNNの訓練アルゴリズム（BPTTとRTRL）を説明し、勾配消失問題に対処する。
• 詳細な導出を通じて初心者がLSTMとその拡張を理解するのを支援する。

提案手法

• LSTMにつながるニューラルネットワークに関する歴史的文献をレビューする。
• LSTM関連の方程式と変数の統一表記を提示する。
• パーセプトロン、デルタ則、シグモイド単位、フィードフォワードネットワークの主要な方程式を導出する。
• FFNNにおけるバックプロパゲーションを解説し、再帰アーキテクチャ（RNNs）へ拡張する。
• RNNの訓練法としてBackpropagation Through Time（BPTT）とReal-Time Recurrent Learning（RTRL）を説明する。
• 勾配消失問題とRNNの訓練への影響について論じる。

実験結果

リサーチクエスチョン

• RQ1 初期の刊行物からのLSTM-RNNの歴史的な進化はどのようなものか。
• RQ2 統一表記はLSTMおよび関連ネットワークの理解をどのように改善できるか。
• RQ3 核となる学習規則（パーセプトロン、デルタ則、バックプロパゲーション）はFFNNからRNNへどのように拡張されるか。
• RQ4 RNNはBPTTとRTRLでどのように訓練され、どんな課題（例：勾配消失）は生じるか。
• RQ5 このチュートリアルで扱われるLSTMの拡張と変種は何で、それらは基礎概念とどう関連するか。

主な発見

• 本論文は初期のLSTM論文間の不一致を解消するための統一表記と記述図を提供する。
• パーセプトロンからベーシックなLSTMおよびその拡張へと進化を文書化し、詳細な導出を含む。
• FFNNはシグモイド単位を介して非線形の意思決定面を表現できることを再確認し、線形パーセプトロンとは対照的である。
• FFNNにおけるバックプロパゲーションを説明し、その方法論を再帰アーキテクチャ（RNNs）へ拡張する。
• RNN訓練の主な2つのアプローチ、BPTTとRTRLを概説し、それらの特徴と適用事例を論じる。
• RNNにおける勾配消失問題を論じ、それの数学的根拠を説明する。