[論文レビュー] h-detach: Modifying the LSTM Gradient Towards Better Optimization

Devansh Arpit, Bhargav Kanuparthi+4 more|arXiv (Cornell University)|Oct 6, 2018

Stochastic Gradient Optimization Techniques被引用数 12

ひとこと要約

この論文では、長期間の依存関係を捉えるために不可欠なセル状態パスにおける勾配抑制を防ぐための確率的勾配修正、h-detach を提案する。バックプロパゲーション中に隠れ状態を確率的に勾配伝播をブロックすることで、勾配の収束速度、ハイパーパramータに対するロバスト性、および長距離依存関係を有するタスクにおける汎化性能が向上し、計算コストを増加させることなく、元のLSTMを上回る性能を発揮する。

ABSTRACT

Recurrent neural networks are known for their notorious exploding and vanishing gradient problem (EVGP). This problem becomes more evident in tasks where the information needed to correctly solve them exist over long time scales, because EVGP prevents important gradient components from being back-propagated adequately over a large number of steps. We introduce a simple stochastic algorithm ( extit{h}-detach) that is specific to LSTM optimization and targeted towards addressing this problem. Specifically, we show that when the LSTM weights are large, the gradient components through the linear path (cell state) in the LSTM computational graph get suppressed. Based on the hypothesis that these components carry information about long term dependencies (which we show empirically), their suppression can prevent LSTMs from capturing them. Our algorithm\footnote{Our code is available at https://github.com/bhargav104/h-detach.} prevents gradients flowing through this path from getting suppressed, thus allowing the LSTM to capture such dependencies better. We show significant improvements over vanilla LSTM gradient based training in terms of convergence speed, robustness to seed and learning rate, and generalization using our modification of LSTM gradient on various benchmark datasets.

研究の動機と目的

• 長期間記憶保持を要するタスクにおいて顕著な勾配の爆発および消失問題（EVGP）に対処すること。
• 大きなLSTM重みが、長期間依存関係に関する情報を保持する線形セル状態パスを通る勾配成分を抑制することを特定すること。
• この抑制を防ぐシンプルで効率的な手法を提案し、最適化の安定性と性能を向上させること。
• h-detach が収束速度、学習率および重み初期化に対するロバスト性、ベンチマークタスクにおける汎化性能の向上を示すこと。

提案手法

• h-detach は、ベルヌーイ確率変数 $\xi_t$ を用いて、バックプロパゲーション中にLSTM隠れ状態 $\mathbf{h}_t$ を確率的に勾配伝播を遮断するための確率的メカニズムを導入する。
• この手法はバックプロパゲーションのプロセスを変更し、$\mathbf{h}_t$ を通る勾配を確率 $p$ でゼロに設定するが、セル状態 $\mathbf{c}_t$ を通る勾配は影響を受けない。
• この確率的ブロッキングにより、期待値においてセル状態パス成分の抑制が防がれ、勾配更新が調整される。
• このアプローチは計算的に効率的であり、自動微分フレームワークと互換性がある。これは、バックワードパスでのみ変更が加わるためである。
• 理論的分析により、h-detach は非セル状態パスからの勾配成分を効果的に減衰させ、セル状態の寄与を保持することが示された。
• 標準LSTM学習における軽量な修正として実装されており、アーキテクチャの変更や追加パラメータが不要である。

実験結果

リサーチクエスチョン

• RQ1 なぜ大きな重みがあるとLSTMにおけるセル状態パスを通る勾配が抑制され、それが長期依存関係学習にどのように影響するのか？
• RQ2 バックプロパゲーションプロセスに対するシンプルな確率的修正が、計算コストを増加させることなくLSTMの最適化を改善できるか？
• RQ3 セル状態勾配の抑制を防ぐことで、長系列タスクにおける収束速度の向上とより良い汎化性能が得られるか？
• RQ4 勾配クリッピング、アテンション機構、ユニタリRNNといった既存手法と比較して、h-detach は性能と効率の面でどのように差をつけるか？

主な発見

• h-detach は、コピーテスク、順序付きMNIST、および入れ替えMNISTにおいて、vanilla LSTMに比べて収束速度が顕著に向上した。
• 複数のベンチマークにおいて、重み初期化および学習率ハイパーパramータに対するロバスト性が向上した。
• 画像キャプション生成および順序付きMNISTタスクにおいて、h-detach を用いて学習したLSTMは、画像キャプション生成は長距離依存関係タスクではないにもかかわらず、より良い汎化性能を達成した。
• 実験的結果から、h-detach は勾配クリッピングなしでも安定した学習ダイナミクスを維持しており、勾配爆発への感受性が低いことが示唆された。
• この改善は、長期依存関係に関する情報を保持するセル状態パスを通る勾配の流れが維持されたことに起因する。
• h-detach は、アテンションや補助損失といった代替手法と比較して、学習安定性および収束性を向上させつつ、計算オーバーヘッドを低減した。