[論文レビュー] On the Convergence of Adaptive Gradient Methods for Nonconvex Optimization

Dongruo Zhou, Jinghui Chen+3 more|arXiv (Cornell University)|Aug 16, 2018

Sparse and Compressive Sensing Techniques参考文献 41被引用数 82

ひとこと要約

本研究は、確率的非凸最適化における適応的勾配法（AMSGrad、RMSProp、AdaGrad）の細粒度の収束解析を提供し、期待値保証と高確率保証を提示するとともに、勾配のスパース性の下で SGD より有利であることを示している。

ABSTRACT

Adaptive gradient methods are workhorses in deep learning. However, the convergence guarantees of adaptive gradient methods for nonconvex optimization have not been thoroughly studied. In this paper, we provide a fine-grained convergence analysis for a general class of adaptive gradient methods including AMSGrad, RMSProp and AdaGrad. For smooth nonconvex functions, we prove that adaptive gradient methods in expectation converge to a first-order stationary point. Our convergence rate is better than existing results for adaptive gradient methods in terms of dimension. In addition, we also prove high probability bounds on the convergence rates of AMSGrad, RMSProp as well as AdaGrad, which have not been established before. Our analyses shed light on better understanding the mechanism behind adaptive gradient methods in optimizing nonconvex objectives.

研究の動機と目的

• 非凸確率的最適化における適応型勾配法の収束保証を研究する動機づけを行い、実践と理論のギャップに取り組む。
• 滑らかな非凸目的関数の下で AMSGrad、RMSProp、AdaGrad に対する統一的で細粒度の収束解析を開発する。
• 1 次 stationary points への収束境界を期待値ベースと高確率の両方で確立する。
• 勾配スパース性を考慮した場合に、SGD と比較して繰り返し複雑度と次元依存性が改善されることを示す。

提案手法

• L-smooth な目的関数を持つ確率的非凸最適化における一般的な適応勾配法（AMSGrad、RMSProp、AdaGrad）を分析する。
• bounded-infinity 確率勾配仮定（G_infty）と L-smoothness の下で、確率的モーメントを処理するために z_t という補助系列を導入する。
• ||∇f(x_t)||^2 の期待値の収束速さを導出する：E[||∇f(x_t)||^2] ≤ M1/(Tα) + Md/T + αMd/(T^{1/2−s}) ただし成長条件 ||g_{1:T,i}||_2 ≤ G_infty T^s を仮定。
• サブガウス分布の確率的勾配を仮定することにより高確率収束境界を提供し、確率的保証を伴う同様の速度形を得る。
• 既存の結果と比較して d に対する依存性が改善され、スパースな勾配領域（s<1/2）では SGD よりも厳密に良い速度を持つことを示す。

実験結果

リサーチクエスチョン

• RQ1 AMSGrad、RMSProp、AdaGrad は確率的非凸最適化において1次 stationary points に収束するのか？
• RQ2 これらの適応法の次元 d、繰り返し回数 T、勾配スパース性（s で表される）に対する正確な収束速度はどうなるか？
• RQ3 非凸設定でこれらの適応法の高確率収束保証を確立できるのか？
• RQ4 特にスパース勾配の下で、導出した速度は SGD とどう比較されるのか？
• RQ5 収束を保証するためにアルゴリズム的補正（例：AMSGrad の非増加学習率） はどのような役割を果たすのか？

主な発見

• AMSGrad、RMSProp、AdaGrad に対して、滑らかな非凸目的関数の期待値収束が証明される。
• AMSGrad は累積勾配の成長境界の下で O(d^{1/2}/T^{3/4−s/2} + d/T) の収束速度を達成し、勾配がスパースな場合（s < 1/2）に SGD より改善。
• 最悪の場合（s = 1/2）、速度は O(√d/√T + d/T) となり、以前の境界よりも次元依存性が良好。
• AMSGrad、RMSProp、AdaGrad に対して高確率収束境界を確立しており、単一の実行性能保証に対応。
• AdaGrad、RMSProp、AMSGrad は前述の条件下で同じ速度形を共有し、各手法に対して明示的な定数が提供されている。
• 分析は確率的モーメントを処理するための補助系列 z_t の導入と、速度推定を可能にする補助境界補題を導入する。