[論文レビュー] The Role of Momentum Parameters in the Optimal Convergence of Adaptive Polyak's Heavy-ball Methods

Wei Tao, Sheng Long+2 more|arXiv (Cornell University)|Feb 15, 2021

Stochastic Gradient Optimization Techniques参考文献 32被引用数 6

ひとこと要約

本稿では、時間に依存するモーメンタムパラメータ $\beta_{1t} = \frac{t}{t+2}$ を用いた適応的PolyakのHeavy-ball法が、制約付き凸最適化において最適な個別収束速度 $O(\frac{1}{\sqrt{t}})$ を達成することを確立している。これは、理論的保証が平均化された反復点に限られるのに対し、実際の深層学習では最終反復点が一般的に使われるという理論と実践のギャップを解消するものである。分析により、適応的モーメンタムスケジューリングが加速を可能にし、実践的におけるモーメンタムの原理的スケジューリングを提供する。

ABSTRACT

The adaptive stochastic gradient descent (SGD) with momentum has been widely adopted in deep learning as well as convex optimization. In practice, the last iterate is commonly used as the final solution to make decisions. However, the available regret analysis and the setting of constant momentum parameters only guarantee the optimal convergence of the averaged solution. In this paper, we fill this theory-practice gap by investigating the convergence of the last iterate (referred to as individual convergence), which is a more difficult task than convergence analysis of the averaged solution. Specifically, in the constrained convex cases, we prove that the adaptive Polyak's Heavy-ball (HB) method, in which only the step size is updated using the exponential moving average strategy, attains an optimal individual convergence rate of $O(\frac{1}{\sqrt{t}})$, as opposed to the optimality of $O(\frac{\log t}{\sqrt {t}})$ of SGD, where $t$ is the number of iterations. Our new analysis not only shows how the HB momentum and its time-varying weight help us to achieve the acceleration in convex optimization but also gives valuable hints how the momentum parameters should be scheduled in deep learning. Empirical results on optimizing convex functions and training deep networks validate the correctness of our convergence analysis and demonstrate the improved performance of the adaptive HB methods.

研究の動機と目的

• 理論的収束保証（通常は平均化反復点に限られる）と、勾配上昇ベースの最適化における実際の最終反復点の使用との間の理論と実践のギャップを埋めること。
• 制約付き凸設定における適応的PolyakのHeavy-ball法の最終反復点（個別収束）の収束を分析すること。
• 個別収束を最適速度 $O(\frac{1}{\sqrt{t}})$ で保証することができるモーメンタムパラメータスケジュールを特定すること。
• 収束ダイナミクスに基づいて、深層学習におけるモーメンタムパラメータスケジューリングに理論的根拠を提供すること。

提案手法

• ステップサイズのみを指数移動平均（EMA）戦略で更新する適応的PolyakのHeavy-ball法を提案する。
• 最適な個別収束を達成するために、時間に依存するモーメンタムパラメータ $\beta_{1t} = \frac{t}{t+2}$ を導入する。
• 適応的モーメンタムスキームに特化した新しい証明技法を用いて、最終反復点の収束を分析する。
• 適応的HB法が制約付き凸問題において $O(\frac{1}{\sqrt{t}})$ の個別収束速度を達成することを確立する。
• 収束速度および実践的性能の観点から、標準的SGDおよびAdam型手法と適応的HB法を比較する。
• MNIST、CIFAR10、CIFAR100の各データセットにおいて、4層CNNおよびResNet-18を用いた凸関数および深層ニューラルネットワークでの実証的検証を実施する。

実験結果

リサーチクエスチョン

• RQ1 適応的PolyakのHeavy-ball法は、制約付き凸最適化において最終反復点の最適な個別収束を達成できるか？
• RQ2 適応的HB法において、最適な個別収束を実現するモーメンタムパラメータスケジュールは何か？
• RQ3 時間に依存するモーメンタムパラメータ $\beta_{1t} = \frac{t}{t+2}$ は、定数 $\beta_{1t}$ と比較して収束性および実践的性能においてどのように異なるか？
• RQ4 提案された適応的HB法は、標準的AdamおよびSGDを上回る性能を示すか？

主な発見

• 時間に依存するモーメンタムパラメータ $\beta_{1t} = \frac{t}{t+2}$ を用いた適応的PolyakのHeavy-ball法は、制約付き凸最適化において最適な個別収束速度 $O(\frac{1}{\sqrt{t}})$ を達成する。
• この速度は最適であり、最終反復点における標準的SGDの $O(\frac{\log t}{\sqrt{t}})$ 速度を上回る。
• 時間に依存するモーメンタムパラメータ $\beta_{1t} = \frac{t}{t+2}$ が最適な個別収束を達成するために不可欠であり、定数 $\beta_{1t}$ では達成できない。
• 実証的結果から、4層CNNおよびResNet-18アーキテクチャにおいて、MNIST、CIFAR10、CIFAR100の各データセットで訓練損失とテスト精度が向上することが示された。
• 同じハイパーパramータチューニングプロトコル下で、Adam、SGD、SGD-momentum、AdaGrad、RMSPropと比較して、訓練損失およびテスト精度の両面で優れた性能を示した。
• 理論的分析により、深層学習におけるモーメンタムパラメータスケジューリングに原理的根拠を提供し、実際の応用で $\beta_{1t} \to 1$ がしばしば有効である理由を説明できた。