[論文レビュー] Advances in Optimizing Recurrent Networks

Yoshua Bengio, Nicolas Boulanger-Lewandowski+1 more|arXiv (Cornell University)|Dec 4, 2012

Music and Audio Processing被引用数 10

ひとこと要約

この論文は、勾配クリッピング、リークイントグレーション、適応的モーメンタム、改善された出力モデリング、スパース勾配正則化を組み合わせることで、再帰的ニューラルネットワーク（RNN）の学習を進展させた。これらの技術は総合的に長期依存性タスクにおける最適化を向上させ、確率的勾配降下法（SGD）に改良を加えることで、テキストおよび音楽予測ベンチマークにおいてヘシアンフリー最適化を凌駕または同等の性能を達成できるようになった。

ABSTRACT

After a more than decade-long period of relatively little research activity in the area of recurrent neural networks, several new developments will be reviewed here that have allowed substantial progress both in understanding and in technical solutions towards more efficient training of recurrent networks. These advances have been motivated by and related to the optimization issues surrounding deep learning. Although recurrent networks are extremely powerful in what they can in principle represent in terms of modelling sequences,their training is plagued by two aspects of the same issue regarding the learning of long-term dependencies. Experiments reported here evaluate the use of clipping gradients, spanning longer time ranges with leaky integration, advanced momentum techniques, using more powerful output probability models, and encouraging sparser gradients to help symmetry breaking and credit assignment. The experiments are performed on text and music data and show off the combined effects of these techniques in generally improving both training and test error.

研究の動機と目的

• 長期間にわたるシーケンスにおける悪い最適化のランドスケープや消失／爆発勾配の問題に起因する、RNN最適化の長年の課題に対処すること。
• 複数の最適化技術を組み合わせることで、RNNの一般化性能と学習効率を向上させ、学習の安定化と加速を図ること。
• 単純な修正を加えた強化されたSGDが、Hessian-Free最適化のような2次最適化手法と同等の性能を、シーケンスモデリングタスクで達成できることを示すこと。
• これらの技術が、テキストや記号的音楽を含む多様なシーケンスデータにおける訓練誤差およびテスト誤差に与える影響を評価すること。

提案手法

• 勾配クリッピングは、1回のデータパスにおける平均勾配ノルムに基づくしきい値を用いて実施され、バックプロパゲーション中に勾配の爆発を防ぐ。
• リークイントグレーションは、一部の隠れユニットに過去の状態への残留接続を許容することで導入され、長期記憶の保持を向上させる。
• 高度なモーメンタム手法が用いられ、適応的学習率とモーメンタムスケジュールが検証データセット上でランダムサーチにより調整された。
• スパース性は正則化と確率的サンプリングにより促進され、対称性の打破とより効果的な責任割り当てを支援する。
• NADE や RBM を用いた出力確率モデルの改善が行われ、複雑なシーケンス分布をよりよく捉える。
• 実験では、40～150ステップのシーケンス長が用いられ、同じシーケンス内（例：楽曲）で隠れ状態をシーケンス間で保持することで、時間的文脈を維持した。

実験結果

リサーチクエスチョン

• RQ1 確率的勾配降下法（SGD）に対する単純な修正が、RNNにおける学習安定性と性能を顕著に向上させ得るか？
• RQ2 強化されたSGDは、Hessian-Freeのような2次最適化手法と、RNN学習においてどの程度競合可能か？
• RQ3 勾配クリッピング、リークユニット、スパース勾配が、RNNにおける長期依存性の最適化にどのように寄与するか？
• RQ4 改善された出力モデリングとモーメンタムスケジューリングは、シーケンスモデリングタスクにおける一般化誤差を低減するか？
• RQ5 これらの技術は、文字レベルおよび語彙レベルの言語モデリングタスクの両方で有効に機能するか？

主な発見

• ペンツリーブンクォーリー・コーパスでは、クリッピング、リカチフィードユニット、スパース勾配を組み合わせた強化されたSGDが、次単語予測のテストパープレキシティを128.35まで低下させ、標準SGD（145.16）を上回った。
• 文字レベルモデリングでは、SGD+CRMを用いた最良のRNN-NADEモデルが、テストパープレキシティ32.50を達成し、標準SGD（145.16）を上回り、ヘシアンフリー性能に近づいた。
• 音楽予測では、強化されたRNNモデルがテストログ尤度-6.32を達成したのに対し、標準SGDは-7.00であった。一貫した改善が確認された。
• 勾配クリッピング、リークユニット、適応的モーメンタムの組み合わせにより、すべてのデータセットで訓練誤差が低下し、一般化性能が向上した。これは、損失関数の最適化が改善されたことを示している。
• 結果から、これらの技術により、優れたRNN学習性能を誇る2次最適化手法であるヘシアンフリー最適化と同等の性能をSGDが達成可能であることが示された。
• ランダムサーチによるハイパーパramータチューニングによりモデル性能が向上し、最適な設定は、隠れユニット数200～500、学習率0.01～0.5、リークユニット割合25～50%であった。