[論文レビュー] Learning Longer Memory in Recurrent Neural Networks

Tomáš Mikolov, Armand Joulin+3 more|arXiv (Cornell University)|Dec 24, 2014

Neural Networks and Applications被引用数 18

ひとこと要約

この論文は、再帰的重み行列の一部を単位行列に近づけることで、長期依存関係の学習を可能にする単純なアーキテクチャ的変更を提案している。これにより恒常的記憶が形成され、勾配消失問題にかかわらず、標準的な確率的勾配降下法（SGD）を用いてもLSTMネットワークと同等の性能を達成する。

ABSTRACT

Recurrent neural network is a powerful model that learns temporal patterns in sequential data. For a long time, it was believed that recurrent networks are difficult to train using simple optimizers, such as stochastic gradient descent, due to the so-called vanishing gradient problem. In this paper, we show that learning longer term patterns in real data, such as in natural language, is perfectly possible using gradient descent. This is achieved by using a slight structural modification of the simple recurrent neural network architecture. We encourage some of the hidden units to change their state slowly by making part of the recurrent weight matrix close to identity, thus forming kind of a longer term memory. We evaluate our model in language modeling experiments, where we obtain similar performance to the much more complex Long Short Term Memory (LSTM) networks (Hochreiter & Schmidhuber, 1997).

研究の動機と目的

• 再帰的勾配消失問題により、RNNが長期依存関係を学習できないという長年の信念に対処すること。
• 確率的勾配降下法のような単純な最適化手法が、RNNの長期時系列パターン学習に効果的に適用可能かどうかを調査すること。
• モデルの複雑さを増さずに記憶の持続性を向上させる最小限のアーキテクチャ的変更を開発すること。
• より複雑なアーキテクチャ（例：LSTM）と同等の性能を、より単純で効率的な設計で達成すること。

提案手法

• 一部の隠れユニットが単位行列に近い再帰的重み行列を用いて更新されるように、変更されたRNNアーキテクチャを導入する。
• これらのユニットが多数の時間ステップにわたり状態を維持でき、効果的に長期記憶のための貯水槽を形成する。
• 複雑な最適化スキームを避けるために、標準的な確率的勾配降下法（SGD）を用いてトレーニングする。
• 標準的なRNNの再帰方程式を維持するが、再帰的重み行列に近似単位行列成分を含めるように変更する。
• 損失関数や出力層にアーキテクチャ的変更を加えず、バックプロパゲーション・スル・タイム（BPTT）を用いてエンドツーエンドでネットワークをトレーニングする。

実験結果

リサーチクエスチョン

• RQ1 標準的な確率的勾配降下法（SGD）は、RNNが順序データにおける長期依存関係を学習できるか？
• RQ2 再帰的重み行列の一部を単位行列に近づけるという最小限のアーキテクチャ的変更が、RNNに恒常的記憶をもたらすか？
• RQ3 この変更されたRNNの性能は、言語モデリングタスクにおいてLSTMと比べてどうか？
• RQ4 複雑なメモリゲートやセル状態を導入せずに、勾配消失問題を緩和できるか？

主な発見

• 変更されたRNNは、単に確率的勾配降下法（SGD）を用いるだけで、長期依存関係を効果的に学習でき、長年にわたり「このようなトレーニングは不可能である」と信じられてきた信念に反する。
• 言語モデリングタスクにおいて、はるかに複雑なLSTMネットワークと同等の性能を達成している。
• 主なイノベーションである、特定の隠れユニットに対して再帰的重み行列を単位行列に近づけることにより、長期記憶の一種が成功裏に実現されている。
• 追加のハイパーパラメータや複雑なコンponentsを必要とせず、LSTMよりも単純で効率的である。