[論文レビュー] MomentumRNN: Integrating Momentum into Recurrent Neural Networks

Tan M. Nguyen, Richard G. Baraniuk+3 more|arXiv (Cornell University)|Jun 12, 2020

Domain Adaptation and Few-Shot Learning参考文献 56被引用数 6

ひとこと要約

本稿では、勾配降下法における運動量を隠れ状態の更新プロセスに組み込むことで、運動量を統合した新しい再帰的ニューラルネットワークアーキテクチャ「MomentumRNN」を提案する。この手法は、MNIST、TIMIT、PMNISTを含む複数のベンチマークにおいて、訓練を著しく高速化し、テスト精度を向上させるとともに、勾配消失問題を軽減する。標準RNNおよびLSTMと比較して、精度は最大0.28%向上し、収束速度は最大30%速くなった。

ABSTRACT

Designing deep neural networks is an art that often involves an expensive search over candidate architectures. To overcome this for recurrent neural nets (RNNs), we establish a connection between the hidden state dynamics in an RNN and gradient descent (GD). We then integrate momentum into this framework and propose a new family of RNNs, called {\em MomentumRNNs}. We theoretically prove and numerically demonstrate that MomentumRNNs alleviate the vanishing gradient issue in training RNNs. We study the momentum long-short term memory (MomentumLSTM) and verify its advantages in convergence speed and accuracy over its LSTM counterpart across a variety of benchmarks. We also demonstrate that MomentumRNN is applicable to many types of recurrent cells, including those in the state-of-the-art orthogonal RNNs. Finally, we show that other advanced momentum-based optimization methods, such as Adam and Nesterov accelerated gradients with a restart, can be easily incorporated into the MomentumRNN framework for designing new recurrent cells with even better performance. The code is available at https://github.com/minhtannguyen/MomentumRNN.

研究の動機と目的

• RNNアーキテクチャの探索にかかる高コストと非効率性を低減するため、原理的で整合性のある設計フレームワークを開発すること。
• 長期依存関係の学習を妨げる勾配消失問題を克服すること。
• ネットワークアーキテクチャを完全に再設計することなく、RNNの訓練速度と一般化性能を向上させること。
• 運動量ベースの最適化を再帰セル設計に一般化し、さまざまなRNNバリアントへの広範な適用可能性を実現すること。
• 力学系理論を用いて、RNNにおける運動量統合の理論的保証を提供すること。

提案手法

• 本稿では、RNNにおける隠れ状態のダイナミクスと勾配降下法との間の関係を確立し、各隠れ状態の更新をGDステップとしてモデル化する。
• 収束を加速するために、ネステロフ加速勾配をインspiredした運動量に基づく隠れ状態の更新ルールを導入する。
• フレームワークは、速度と運動量パラメータを含む、運動量強化型のバージョンに置き換えられる標準的なRNN更新ルールを備えた「運動量セル」として形式化される。
• LSTM、GRU、直交RNNなど、さまざまなRNNセルに対して、その更新メカニズムを運動量ベースの同等物に置き換えることで、この手法を拡張する。
• Adam やリセット付きネステロフ最適化などの高度な最適化手法をMomentumRNNフレームワークに統合し、さらなる性能向上を図る。
• 運動量加速ダイナミカルシステムを用いた理論的分析により、収束性と安定性の向上が示されている。

実験結果

リサーチクエスチョン

• RQ1 運動量を再帰的ニューラルネットワークアーキテクチャに体系的に統合することで、訓練ダイナミクスの改善が図れるか？
• RQ2 RNNにおける運動量統合が、勾配消失問題を緩和し、収束速度を向上させるか？
• RQ3 提案されたMomentumRNNフレームワークは、LSTM、GRU、直交RNNを含む多様なRNNアーキテクチャに普遍的に適用可能か？
• RQ4 順序付きモデリングベンチマークにおいて、標準RNNおよびLSTMと比較してMomentumRNNはテスト精度と訓練効率の点でどのように差をつけるか？
• RQ5 Adam やリセット付きネステロフといった高度な運動量ベース最適化技術は、MomentumRNNフレームワークに自然に統合可能か？

主な発見

• MomentumLSTMはPMNISTで95.37%のテスト精度を達成し、ベースラインのDTRIVより0.16%、LSTMより0.08%優れていた。
• TIMITタスクでは、MomentumDTRIVが322個の隠れユニットを用いて1.17±0.05のテストMSEを達成し、DTRIVの1.87±0.17よりも顕著に優れていた。
• MomentumLSTMはPMNISTで92.29%のテスト精度を551分で達成したのに対し、標準LSTMは767分を要したため、28%の訓練時間短縮が達成された。
• アブレーションスタディの結果、最適な運動量と学習率の組み合わせがモデル性能を著しく向上させたことが確認され、図7の緑色セルが優れた結果を示していた。
• MomentumRNNは、PMNISTおよびTIMITタスクにおける訓練損失およびテスト損失曲線から、より速い収束と過学習の低減が示された。
• フレームワークは最先端の直交RNNに対しても成功裏に適用され、さまざまなRNNアーキテクチャにわたる広範な適用可能性が確認された。