[論文レビュー] A Simple Way to Initialize Recurrent Networks of Rectified Linear Units

Quoc V. Le, Navdeep Jaitly+1 more|arXiv (Cornell University)|Apr 3, 2015

Topic Modeling参考文献 32被引用数 554

ひとこと要約

この論文では、整数線形ユニット（ReLUs）を備えた再帰的ネットワークのための単純でありながら効果的な初期化手法を提案している。再帰的重み行列を単位行列（またはスケーリングされたバージョン）に初期化することで、誤反転誤差伝搬中に勾配の流れを安定化させ、長距離依存性タスク（言語モデリングや音声認識を含む）においてLSTMと同等の性能を達成できる深層RNNの効率的学習を可能にする。

ABSTRACT

Learning long term dependencies in recurrent networks is difficult due to vanishing and exploding gradients. To overcome this difficulty, researchers have developed sophisticated optimization techniques and network architectures. In this paper, we propose a simpler solution that use recurrent neural networks composed of rectified linear units. Key to our solution is the use of the identity matrix or its scaled version to initialize the recurrent weight matrix. We find that our solution is comparable to LSTM on our four benchmarks: two toy problems involving long-range temporal structures, a large language modeling problem and a benchmark speech recognition problem.

研究の動機と目的

• ReLUユニットを備えた再帰的ネットワークの学習における勾配の消失および爆発の課題に対処すること。
• ゲーティング機構が複雑でないReLUベースのRNNが、LSTMと同等の性能を達成できるかどうかを調査すること。
• 単純な重み初期化戦略が訓練を安定化させ、長距離時系列依存性の有効な学習を可能にするかどうかを同定すること。
• 単位行列初期化がLSTMの洗練されたアーキテクチャの実用的代替として機能できるかどうかを検討すること。
• この手法が、言語モデリングや音声認識を含む多様なベンチマークでどの程度有効であるかを評価すること。

提案手法

• ReLUユニットを備えたRNNの再帰的重み行列を単位行列（またはスケーリングされたバージョン）に初期化し、バイアスをゼロとする。
• 誤差微分の計算に標準的な時間軸を介した誤差逆伝搬法（backpropagation through time）を用い、最適化にはモーメンタムを用いた確率的勾配降下法を適用する。
• 訓練中に勾配の爆発を防ぐために勾配クリッピングを適用する。
• 長距離依存性が少ないタスクでは、過去の情報を素早く忘れるためにスケーリングされた単位行列（例：0.01I）を用いる。
• 音声認識などのシーケンスモデリングタスク向けに、モデルの双方向バージョンを実装する。
• 大規模語彙の言語モデリングタスクでは、出力次元を低減させるために線形投影層を用い、パラメータの増加を最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 単位行列初期化を用いたReLUベースのRNNは、LSTMと同等に長距離時系列依存性を学習できるか？
• RQ2 単位行列初期化はReLU RNNにおける勾配の流れを安定化させ、勾配の消失や爆発を防げるか？
• RQ3 実世界のタスク（言語モデリングや音声認識など）において、単位行列初期化を施したReLU RNNの性能は、標準的なRNNおよびLSTMと比べてどの程度か？
• RQ4 長距離依存性がほとんどないタスクにおいて、完全な単位行列初期化よりもスケーリングされた単位行列初期化がより効果的か？
• RQ5 アーキテクチャの複雑さに比べて、重み初期化が単純なRNNの成功に果たす役割は何か？

主な発見

• 単位行列初期化により、ReLUベースのRNN（IRNN）は10億語分の言語モデリングベンチマークでテストパープレクシティ69.4を達成し、LSTMの68.8に非常に近い性能を示した。
• TIMIT音声認識タスクにおいて、5層の双方向iRNNはテストセットでフレーム誤り率28.9％を記録し、標準的なRNNを上回り、5層の双方向LSTM（29.1％）に近い性能を達成した。
• 長距離依存性が最小限のタスク（例：音声認識）では、スケーリングされた単位行列初期化（0.01I）が完全な単位行列初期化よりも収束性と性能が向上した。
• 4層・1層あたり512ユニットのiRNNは、ゲーティング機構のない単純なアーキテクチャであるにもかかわらず、言語モデリングタスクでLSTMと同等の性能を達成した。
• すべての実験において、tanhユニットを備えた標準的なRNNよりもiRNNが優れており、ReLUベースのRNNにおける単位行列初期化の優位性を示した。
• Hessian-Freeや適応的学習率といった複雑な最適化技術を必要とせず、単純な初期化と勾配クリッピングに依存するだけで、深層RNNの安定した訓練が可能になった。