[論文レビュー] LaProp: Separating Momentum and Adaptivity in Adam

Liu Ziyin, Zhikang T. Wang+1 more|arXiv (Cornell University)|Feb 12, 2020

Stochastic Gradient Optimization Techniques参考文献 39被引用数 14

ひとこと要約

この論文は、Adamスタイルの最適化手法におけるモーメンタムと適応性の結合を解体することで、その結合に起因する不安定性を解消する新しい適応的最適化手法LaPropを提案する。モーメンタムと適応性を分離することにより、LaPropは訓練の安定性と柔軟性を向上させ、多様なタスク—ノイズが多い、不安定な、困難な最適化問題を含む—において一貫してAdamを上回る性能を発揮する。同じハイパーパrameter数を維持しつつ、符号付き勾配法と適応的勾配法の間で滑らかな補間を可能にする。

ABSTRACT

We identity a by-far-unrecognized problem of Adam-style optimizers which results from unnecessary coupling between momentum and adaptivity. The coupling leads to instability and divergence when the momentum and adaptivity parameters are mismatched. In this work, we propose a method, Laprop, which decouples momentum and adaptivity in the Adam-style methods. We show that the decoupling leads to greater flexibility in the hyperparameters and allows for a straightforward interpolation between the signed gradient methods and the adaptive gradient methods. We experimentally show that Laprop has consistently improved speed and stability over Adam on a variety of tasks. We also bound the regret of Laprop on a convex problem and show that our bound differs from that of Adam by a key factor, which demonstrates its advantage.

研究の動機と目的

• モーメンタムと適応性のパラメータが不一致である場合に生じる、Adamスタイルの最適化手法における不安定性および発散問題を解消すること。
• Adamの利点を維持しつつ、ハイパーパramータ選択のロバスト性と柔軟性を向上させる新しい最適化アルゴリズムを開発すること。
• 符号付き勾配法と適応的勾配法の間で滑らかな補間を可能にすること—これはAdamでは実現不可能である。
• 凸問題におけるLaPropのレグルレーション（regret）を理論的に境界づけ、AdamやAMSGradと比較して顕著な利点を示すこと。
• Atari、CIFAR-10、MNISTを含む複数のベンチマークで、特にノイズが多い、または不安定な環境下でも、一貫した性能向上を実証すること。

提案手法

• モーメンタム項の更新ルールを別個に導入することで、モーメンタムと適応的勾配スケーリングを分離する。
• 有効学習率が別個の適応的成分によって決定されるように変更された更新ルールを採用し、モーメンタムは独立に更新される。
• RMSPropに類似したバッファベースのRMS正規化を適応的成分に導入するが、モーメンタムのダイナミクスとは分離する。
• Adamと同様の方法で学習率スケジューリングと重み減衰を適用するが、主な差異は適応的スケーリングがモーメンタム更新に影響しない点である。
• 計算効率を維持するために、適応的成分のバッファに対してランダム置換戦略を採用する。
• Adamと同一のハイパーパramータ数（学習率、モーメンタム用のbeta1、適応的スケーリング用のbeta2）を維持し、ハイパーパramータ設定の直接的移行を可能にする。

実験結果

リサーチクエスチョン

• RQ1 モーメンタムと適応性パラメータが不一致である場合に、Adamスタイルの最適化手法に不安定性や発散が生じる主な原因は何か？
• RQ2 Adamスタイルの最適化手法において、モーメンタムと適応性を分離することで、訓練の安定性と柔軟性が向上するか？
• RQ3 モーメンタムと適応性を分離することで、符号付き勾配法と適応的勾配法の間で滑らかな補間が可能になるか？
• RQ4 LaPropのレグルレーション境界は、AdamやAMSGradと比較してどのように異なるのか？これは収束性能にどのような意味を持つのか？
• RQ5 LaPropは、ノイズが多い、または不安定な訓練環境下でも、多様な深層学習タスクにおいて一貫してAdamを上回る性能を発揮するか？

主な発見

• LaPropは、Atari2600ゲームやCIFAR-10画像分類を含む多様なタスクで一貫してAdamを上回り、訓練の安定性が向上している。
• Atari2600では、20のゲームすべてでLaPropがAdamよりも高い平均報酬を達成し、滑らかな学習曲線を示し、発散は観察されなかった。
• CIFAR-10では、$ u < 0.4$ または $ u$ が $ u$ よりも著しく小さい場合にAdamは頻繁に発散するが、LaPropは同様の条件下でも安定している。
• Adamが発散に近い状態にある際、LaPropはテスト損失がより小さく、一般化性能が優れていることが示された。
• Adamが発散しない場合、訓練損失はLaPropを下回ることが多いが、LaPropはより低く安定したテスト損失を維持しており、一般化性能の優位性が裏付けられている。
• LaPropのレグルレーション境界は$O(\sqrt{T})$であり、AdamやAMSGradとは異なる重要な要因を有しており、柔軟性が向上し、より良いパフォーマンスにつながる可能性がある。