[論文レビュー] Understanding LSTM -- a tutorial into Long Short-Term Memory Recurrent Neural Networks

Ralf C. Staudemeyer, Eric Rothstein Morris|arXiv (Cornell University)|Sep 12, 2019

Neural Networks and Applications参考文献 78被引用数 152

ひとこと要約

LSTM-RNNの進化を再検討し、初期の研究間で表記を統一し、BPTTやRTRLを含むコア学習アルゴリズムと勾配消失問題を解説するチュートリアル。

ABSTRACT

Long Short-Term Memory Recurrent Neural Networks (LSTM-RNN) are one of the most powerful dynamic classifiers publicly known. The network itself and the related learning algorithms are reasonably well documented to get an idea how it works. This paper will shed more light into understanding how LSTM-RNNs evolved and why they work impressively well, focusing on the early, ground-breaking publications. We significantly improved documentation and fixed a number of errors and inconsistencies that accumulated in previous publications. To support understanding we as well revised and unified the notation used.

研究の動機と目的

• LSTM-RNNが基本的なパーセプトロンからLSTMアーキテクチャへとどのように進化したか、そしてなぜそれらが性能を発揮するのかを説明する。
• 初期のLSTM方程式と拡張を明確にするために、統一表記と記述図を提供する。
• 基礎的な学習アルゴリズム（誤差逆伝播法、BPTT、RTRL）と、それらがRNNの訓練において果たす役割を調査する。
• 勾配消失/勾配爆発の問題を明確にし、再帰的ネットワークにおける緩和戦略を検討する。

提案手法

• パーセプトロンからLSTM-RNNまでのニューラルネットワーク概念をチュートリアル風に解説する。
• 初期のLSTM関連方程式の導出と表記の統一を行い、主要な構成要素（ユニット、重み、バイアス、活性化）を説明する。
• 前向き伝播ネットワーク、誤差逆伝播、およびデルタ学習則を説明してRNNの基礎を築く。
• 再帰型アーキテクチャ（Elman、Jordan、完全再帰型ネットワーク）と、それらのBPTTおよびRTRLによる訓練を説明する。
• 勾配消失問題と、勾配が爆発または消失する原因となる解析的条件について論じる。

実験結果

リサーチクエスチョン

• RQ1 基本的なパーセプトロンから現代のLSTMネットワークまでのLSTM-RNNの歴史的な進化はどのようなものか。
• RQ2 統一表記と記述的な図が初期のLSTM方程式とその拡張を理解するうえでどのように役立つか。
• RQ3 誤差逆伝播法、BPTT、RTRLなどの中核的な訓練アルゴリズムは再帰的アーキテクチャにどう適用され、それぞれのトレードオフは何か。
• RQ4 RNNにおける勾配消失と勾配爆発の原因は何か、これらの問題に対処する洞察や戦略は何か。

主な発見

• 本論文は初期のLSTM関連方程式と拡張を明確にするための統一表記と記述的図を提供する。
• パーセプトロンから再帰アーキテクチャ（バニラLSTMを含む基礎的なステップ）への進展を概観する。
• 誤差逆伝播法、デルタ学習、シグモイドユニットが非線形関数近似を可能にする役割を説明する。
• Elman、Jordanなどの再帰アーキテクチャと、それらのBPTTおよびRTRLによる訓練を扱い、オンライン学習とオフライン学習の側面を強調する。
• 勾配消失/爆発問題を分析し、RNNにおいて勾配が増大するまたは消失する条件を提示する。