[論文レビュー] LaProp: a Better Way to Combine Momentum with Adaptive Gradient

Liu Ziyin, Zhikang T. Wang+1 more|arXiv (Cornell University)|Feb 12, 2020

Stochastic Gradient Optimization Techniques参考文献 17被引用数 15

ひとこと要約

LaPropは、Adamスタイル最適化手法におけるモーメンタムと適応性の結合を解消する新しい最適化手法を提案する。これにより、それらの結合に起因する不安定性が解消される。独立したハイパーパrameterチューニングと符号付き勾配法と適応的勾配法の間の滑らかな補間を可能にすることで、LaPropは多様なタスクにおいて優れた訓練速度と安定性を達成し、凸問題におけるレグレットバウンドにより、Adamより理論的に優位であることが示されている。

ABSTRACT

We identity a by-far-unrecognized problem of Adam-style optimizers which results from unnecessary coupling between momentum and adaptivity. The coupling leads to instability and divergence when the momentum and adaptivity parameters are mismatched. In this work, we propose a method, Laprop, which decouples momentum and adaptivity in the Adam-style methods. We show that the decoupling leads to greater flexibility in the hyperparameters and allows for a straightforward interpolation between the signed gradient methods and the adaptive gradient methods. We experimentally show that Laprop has consistently improved speed and stability over Adam on a variety of tasks. We also bound the regret of Laprop on a convex problem and show that our bound differs from that of Adam by a key factor, which demonstrates its advantage.

研究の動機と目的

• Adamスタイル最適化手法におけるモーメンタムと適応性の間の意図しない結合が引き起こす不安定性を特定・解消すること。
• モーメンタムと適応性を解離させ、独立したハイパーパrameterチューニングとより高い手法の柔軟性を可能にすること。
• 解離されたフレームワークを通じて、符号付き勾配法と適応的勾配法の間の滑らかな補間を可能にすること。
• 複数の機械学習タスクにおいて、Adamよりも優れた訓練速度と安定性を示すこと。
• 凸問題におけるLaPropのレグレットバウンドを理論的に導出することで、Adamとの主な優位性を示すこと。

提案手法

• LaPropは、モーメンタム項と適応的学習率の計算を分離する新しい更新ルールを導入する。
• 勾配とその二乗のそれぞれに別々の指数移動平均を維持することで、それらの更新メカニズムを解離する。
• モーメンタムの強さと適応的スケーリングを独立して制御できるように変更された学習率スケジュールを採用する。
• LaPropは、モーメンタム成分と適応的成分の相対的影響を調整することで、符号付き勾配法と適応的勾配法の間の滑らかな補間を可能にする。
• 従来のAdamに類似したフレームワークと後方互換性を持たせつつ、収束特性を改善するように設計されている。
• 理論的分析により、凸問題におけるLaPropのレグレットをバウンドし、Adamとは顕著な差異を示す。

実験結果

リサーチクエスチョン

• RQ1 Adamスタイル最適化手法におけるモーメンタムと適応性の結合が、訓練の安定性と収束に与える影響は何か？
• RQ2 モーメンタムと適応性を解離させることで、最適化性能とハイパーパrameterの柔軟性が向上するか？
• RQ3 解離が、多様な機械学習タスクにおける訓練速度と安定性に与える影響は何か？
• RQ4 凸最適化設定において、LaPropのレグレットバウンドはAdamと比べてどう異なるか？
• RQ5 LaPropは、符号付き勾配法と適応的勾配法の間の滑らかな補間を達成できるか？

主な発見

• LaPropは、多様な機械学習タスクにおいて、Adamと比較して一貫して訓練速度と安定性を向上させる。
• モーメンタムと適応性の解離により、収束に影響を与えることなく、ハイパーパrameter選択の柔軟性が向上する。
• LaPropは、その設計により、符号付き勾配法と適応的勾配法の間の滑らかな補間を可能にする。
• 理論的分析により、LaPropのレグレットバウンドは、Adamとは重要な要因で異なり、収束保証において根本的な優位性を示している。
• 実験的結果により、LaPropは、モーメンタムと適応性パラメータが不一致となった場合に生じる発散問題を回避することが示された。
• LaPropは多様なタスクで優れた性能を維持しており、特定のアーキテクチャーやデータセットに限定されない広範な適用可能性を示唆している。