[論文レビュー] Convergence of a Stochastic Gradient Method with Momentum for Non-Smooth Non-Convex Optimization

Vien V. Mai, Mikael Johansson|arXiv (Cornell University)|Feb 13, 2020

Stochastic Gradient Optimization Techniques被引用数 4

ひとこと要約

本稿は、非滑らかで非凸かつ制約付き最適化問題に対する確率的部分勾配法にポリャクモーメンタムを適用した場合の、初めての収束速度を確立した。新しいリャプノフ関数を構築することで、モーメンタムパラメータのチューニングを必要とせず、定常点への収束速度が O(1/√K) であることを達成した。これは、既知の複雑度境界を制約付きかつ非滑らかの場合に拡張したものである。

ABSTRACT

Stochastic gradient methods with momentum are widely used in applications and at the core of optimization subroutines in many popular machine learning libraries. However, their sample complexities have not been obtained for problems beyond those that are convex or smooth. This paper establishes the convergence rate of a stochastic subgradient method with a momentum term of Polyak type for a broad class of non-smooth, non-convex, and constrained optimization problems. Our key innovation is the construction of a special Lyapunov function for which the proven complexity can be achieved without any tuning of the momentum parameter. For smooth problems, we extend the known complexity bound to the constrained case and demonstrate how the unconstrained case can be analyzed under weaker assumptions than the state-of-the-art. Numerical results confirm our theoretical developments.

研究の動機と目的

• 非滑らかで非凸な問題に対する確率的モーメンタム法の理論的理解のギャップを埋めること。
• 滑らかさや凸性を仮定しない条件下でも、ポリャクモーメンタムを用いた確率的部分勾配法のサンプル複雑度境界を確立すること。
• モーメンタムパラメータのチューニングを必要としない収束解析フレームワークを構築すること。
• 既知の複雑度結果を制約付き、非滑らか、非凸最適化問題に拡張すること。

提案手法

• 反復点とモーメンタムベクトルの再帰的更新により定義される、ポリャク型モーメンタムを有する確率的部分勾配法を用いる。
• 収束解析に特化した新しいリャプノフ関数を構築し、目的関数とモーメンタム関連項を組み合わせる。
• 非滑らか性を扱うために、f(x) + ρ‖x‖² が凸であるという ρ-弱凸関数の概念を用いる。
• 正則化された目的関数 Fλ(x) = f(x) + λ⁻¹‖x‖² の凸性を活用し、ノルム展開と不等式を導出する。
• 反復回数にわたる不等式の和をとり、Fλ の勾配ノルムの期待値をバインドすることで収束速度を導出する。
• 期待勾配ノルムを分析するために一様ランダムなインデックス k* を用い、高確率収束境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 確率的勾配法にモーメンタムを適用した場合、非滑らかで非凸な問題において収束速度を達成できるか？
• RQ2 滑らかさや凸性を仮定しない条件下でも、モーメンタムベースの手法のサンプル複雑度境界を確立できるか？
• RQ3 モーメンタムパラメータのチューニングを必要とせず収束を保証するリャプノフ関数を構築できるか？
• RQ4 制約付き非滑らか非凸設定におけるモーメンタム法の性能は、非制約付きの場合と比べてどうなるか？
• RQ5 正則化された目的関数を用いることで、弱凸関数に対しても解析を拡張できるか？

主な発見

• 本手法は、正則化目的関数 Fλ の勾配の期待二乗ノルムで測った定常点への収束速度が O(1/√K) であることを達成した。
• 収束境界はモーメンタムパラメータのチューニングを必要とせず、構築されたリャプノフ関数に依存している。
• 滑らかな問題では、先行研究よりも弱い仮定のもとで、制約付きの場合の既知の複雑度境界が拡張された。
• 収束速度は、滑らかで凸な問題における既知の境界と一致するため、タイトである。
• 数値実験により理論的収束挙動が確認され、非滑らか非凸設定におけるモーメンタム法の有効性が検証された。