[論文レビュー] A Gentle Tutorial of Recurrent Neural Network with Error Backpropagation

Gang Chen|arXiv (Cornell University)|Oct 8, 2016

Neural Networks and Applications参考文献 3被引用数 96

ひとこと要約

この論文は、誤差逆伝播法を用いた再帰的ニューラルネットワーク（RNN）の学習について、詳細かつわかりやすいチュートリアルを提供している。特に、RNNにおける誤差逆伝播法と長短期記憶（LSTM）ユニットに焦点を当てている。共有パラメータの時間ステップにわたる勾配を導出するとともに、時間方向に展開することでそれらを計算する方法を説明しており、音声認識や筆まえ認識などのタスクにおける系列モデルのための明確な基盤を提供している。

ABSTRACT

We describe recurrent neural networks (RNNs), which have attracted great attention on sequential tasks, such as handwriting recognition, speech recognition and image to text. However, compared to general feedforward neural networks, RNNs have feedback loops, which makes it a little hard to understand the backpropagation step. Thus, we focus on basics, especially the error backpropagation to compute gradients with respect to model parameters. Further, we go into detail on how error backpropagation algorithm is applied on long short-term memory (LSTM) by unfolding the memory unit.

研究の動機と目的

• フィードバックループの存在により、しばしば誤解されがちな再帰的ニューラルネットワークにおける誤差逆伝播法のプロセスを明確にすること。
• 共有重みが時間ステップにわたって共有されている場合の、RNNパラメータの誤差勾配を段階的に導出すること。
• メモリセルを時間方向に展開することで、LSTMネットワークへの分析を拡張し、すべてのゲート（入力、忘れ、出力、候補）の勾配を導出すること。
• 確率的勾配降下法などの標準的な最適化手法を用いたRNNの学習実装と理解を可能にすること。

提案手法

• 時間ステップにわたってRNNを展開することで、バックプロパゲーション・スルーズ・タイム（BPTT）を用いて勾配を計算する。
• ソフトマックス交差エントロピー目的関数を用いて、出力層の重み $W_{hz}$ およびバイアス $b_z$ に対する損失の勾配を導出する。
• 合成関数の微分法則を適用し、時間 $t$ から $t=0$ まで誤差を時間方向に後退させて、再帰的重み $W_{hh}$ の勾配を計算する。
• 時間方向にLSTMユニットを展開し、再帰的依存関係の連鎖を用いて、すべてのゲート（入力、忘れ、出力、候補）の勾配を計算する。
• tanhおよびソフトマックス活性化関数の勾配を導出し、誤差伝搬に不可欠な要素を明らかにする。
• 合成関数の微分法則を用いて、隠れ状態を介して誤差を時間方向に後退させ、すべてのパラメータの勾配を時間ステップにわたって蓄積することで更新する。

実験結果

リサーチクエスチョン

• RQ1 フィードバックループが存在するにもかかわらず、RNNにおける誤差逆伝播法を体系的かつ的確に適用する方法は何か？
• RQ2 可変長シーケンスにおけるRNNの共有重みの勾配を正しく計算する方法は何か？
• RQ3 標準的なRNNとは異なり、LSTMユニットに適用した場合の誤差逆伝播法のプロセスにどのような違いがあるか？
• RQ4 RNNおよびLSTMの出力層で使用されるtanhおよびソフトマックス関数の解析的勾配は何か？
• RQ5 合成関数の微分法則と時間方向に展開した計算を用いて、LSTMのすべてのゲートパラメータの勾配をどのように導出できるか？

主な発見

• 出力ログティット $\alpha_t$ に対する損失の勾配は $-(y_t - z_t)$ に等しく、最終層の誤差逆伝播法を簡略化する。
• 共有重み $W_{hz}$ の勾配は、すべての時間ステップにおける勾配の合計により計算され、パラメータ共有が良好に一般化されることを保証する。
• 再帰的重み $W_{hh}$ の勾配は、BPTT手法を用いて $t+1$ から $t=0$ まで部分微分の連鎖をたどって計算される。
• LSTMのメモリセル状態 $c_t$ の勾配は、合成関数の微分法則を用いて再帰的に時間方向に後退して計算され、将来の時間ステップからの誤差が忘れゲートを通じて伝搬される。
• 隠れ状態 $h_t$ の勾配は、すべての将来の時間ステップからの寄与を集約することで計算され、誤差逆伝播法によるパラメータの完全な更新が可能になる。
• tanh関数の解析的勾配は $1 - \tanh^2(x)$ に等しく、RNNおよびLSTMにおける効率的な誤差伝搬に不可欠である。