[論文レビュー] Convergence Analysis of a Momentum Algorithm with Adaptive Step Size for Non Convex Optimization

Anas Barakat, Pascal Bianchi|arXiv (Cornell University)|Nov 18, 2019

Stochastic Gradient Optimization Techniques参考文献 54被引用数 8

ひとこと要約

本稿は、非凸最適化における有界ステップサイズを用いたモーメンタムベースの適応勾配法を分析し、決定的および確率的設定の両方で最小の勾配ノルムの二乗に対する O(1/n) 収束速度を証明している。さらに、Kurdyka-Łojasiewicz (KŁ) 性質の下で目的関数値の収束を確立し、適応的手法における最初のこのような結果を提供している。

ABSTRACT

Although ADAM is a very popular algorithm for optimizing the weights of neural networks, it has been recently shown that it can diverge even in simple convex optimization examples. Several variants of ADAM have been proposed to circumvent this convergence issue. In this work, we study the ADAM algorithm for smooth nonconvex optimization under a boundedness assumption on the adaptive learning rate. The bound on the adaptive step size depends on the Lipschitz constant of the gradient of the objective function and provides safe theoretical adaptive step sizes. Under this boundedness assumption, we show a novel first order convergence rate result in both deterministic and stochastic contexts. Furthermore, we establish convergence rates of the function value sequence using the Kurdyka-Lojasiewicz property.

研究の動機と目的

• 非凸最適化における人気のある適応的手法（例：Adam）に理論的収束保証が欠けているという問題を解決すること。
• Adam が凸設定で発散する問題を解消するために、有界な適応的ステップサイズを導入すること。
• 有界ステップサイズの仮定の下で、決定的および確率的非凸最適化における収束速度を確立すること。
• 適応的最適化における目的関数値の収束速度分析を、Kurdyka-Łojasiewicz (KŁ) 性質を用いて初めて提供すること。
• 標準的な有界勾配仮定を緩和し、次元に依存しない収束結果を導出すること。

提案手法

• 勾配のリプシッツ定数を用いて有界化された、座標毎の適応的ステップサイズを備えたモーメンタムアルゴリズムを提案する。
• 決定的ケースにおける最小の勾配ノルムの二乗の O(1/n) 収束速度を証明するために、リャプノフ関数を導入する。
• 確率的最適化への分析を拡張するために、確率的勾配の分散を制限し、有界ステップサイズ条件を維持する。
• Kurdyka-Łojasiewicz (KŁ) 不等式を適用して、目的関数値列の収束速度を導出する。
• 変数変換（z_n）とリャプノフ関数 H を用いて、KŁ 条件下での収束挙動を分析する。
• KŁ 指数 θ に応じて線形または非線形収束を示し、積分不等式および関数変換を用いて明示的な減衰率を導出する。

実験結果

リサーチクエスチョン

• RQ1 有界な適応的ステップサイズは、非凸最適化におけるモーメンタムアルゴリズムの収束を保証できるか？
• RQ2 有界ステップサイズの下で、決定的適応的モーメンタム法における最小の勾配ノルムの二乗の収束速度は何か？
• RQ3 勾配の分散が有界である確率的設定において、収束速度はどのように拡張されるか？
• RQ4 Kurdyka-Łojasiewicz (KŁ) 性質は、適応的最適化における目的関数の収束速度を導出するために活用可能か？
• RQ5 提案手法は、有界勾配仮定よりも弱い仮定の下でも次元に依存しない収束を達成するか？

主な発見

• リャプノフ関数を用いることで、決定的設定における勾配ノルムの二乗の最小値に対して O(1/n) 収束速度が達成される。
• 確率的設定では、確率的勾配の分散が有界で、ステップサイズがほとんど確実に有界であるという仮定の下で、収束速度は O(1/n) である。
• 収束結果はパラメータの次元 d に依存せず、有界勾配仮定の必要性を緩和する。
• KŁ 性質（指数 θ ∈ (0, 1/2]）の下では、目的関数は θ に応じて線形または非線形の速度で収束する。
• θ = 1/2 の場合、収束は線形である。θ < 1/2 の場合、収束速度は O(k^{1/(2θ−1)}) であり、これは非線形だが明示的である。
• 本分析により、KŁ 性質を用いた適応的最適化アルゴリズムにおける最初の収束速度結果が確立され、非凸設定における適応的手法の理論的基盤が提供される。