[論文レビュー] Convergence of a Stochastic Gradient Method with Momentum for Nonsmooth Nonconvex Optimization

V. Vien, Mikael Johansson|arXiv (Cornell University)|Feb 13, 2020

Stochastic Gradient Optimization Techniques参考文献 51被引用数 7

ひとこと要約

この論文は、滑らかでない、凸でない、かつ制約付きの最適化問題に対して、ポリアックモーメンタムを用いた確率的部分勾配法の収束速度を確立する。新しいリャプノフ関数を導入することで、モーメンタムパラメータのチューニングを必要とせず、収束複雑度を達成し、制約付きおよび弱い滑らかさの設定へ既存の境界を拡張する。

ABSTRACT

Stochastic gradient methods with momentum are widely used in applications and at the core of optimization subroutines in many popular machine learning libraries. However, their sample complexities have not been obtained for problems beyond those that are convex or smooth. This paper establishes the convergence rate of a stochastic subgradient method with a momentum term of Polyak type for a broad class of non-smooth, non-convex, and constrained optimization problems. Our key innovation is the construction of a special Lyapunov function for which the proven complexity can be achieved without any tuning of the momentum parameter. For smooth problems, we extend the known complexity bound to the constrained case and demonstrate how the unconstrained case can be analyzed under weaker assumptions than the state-of-the-art. Numerical results confirm our theoretical developments.

研究の動機と目的

• 滑らかでない、凸でない、かつ制約付きの問題におけるモーメンタム付き確率的勾配法のサンプル複雑度解析の欠如に対処すること。
• モーメンタムパラメータのチューニングを必要としない収束解析フレームワークの構築すること。
• 滑らかな問題に対する既存の複雑度境界を制約付きの場合に拡張すること。
• 最新の研究と比較してより弱い仮定の下で、非制約付きの場合をより一般的に分析すること。

提案手法

• 著者らは、確率的部分勾配法にポリアックモーメンタムを組み込んだ動的特性に特化したリャプノフ関数を導入する。
• リャプノフ関数は、滑らかでないおよび凸でない状況下でも反復の降下行動を捉えるように構築される。
• モーメンタム項の構造を活用して、振動を制御し、収束を保証する。
• 反復ごとのリャプノフ関数の減少を証明することで収束を確立し、複雑度境界を導出する。
• この手法は、広範なクラスの制約付き、滑らかでない、凸でない最適化問題に適用可能である。
• 設計上、モーメンタムパラメータのチューニングに依存しないため、あらゆる問題例に対してロバストである。

実験結果

リサーチクエスチョン

• RQ1 滑らかでない、凸でない、かつ制約付きの問題に対して、ポリアックモーメンタムを用いた確率的部分勾配法の収束速度は何か？
• RQ2 モーメンタムパラメータのチューニングを必要とせずに、モーメンタムベースの手法が収束複雑度を達成できるか？
• RQ3 提案手法は、滑らかな問題の既存の複雑度境界を制約付きの場合にどのように拡張するか？
• RQ4 非制約付きの場合に、最新の研究と比較してより弱い仮定の下で、どのように一般化して分析できるか？

主な発見

• 提案手法は、モーメンタムパラメータのチューニングを必要とせず、滑らかでない、凸でない、かつ制約付きの最適化問題に対して収束複雑度を達成する。
• 滑らかでないおよび凸でない状況下での降下行動を捉える新しいリャプノフ関数を用いて、収束速度が確立される。
• 滑らかな問題において、既存の複雑度境界が制約付き設定に拡張される。
• 最新の研究と比較して、より弱い仮定の下で非制約付きの場合が分析される。
• 数値結果により理論的考察が妥当であることが検証され、手法のロバスト性と有効性が確認される。
• 滑らかな問題と滑らかでない問題を統一的に扱うフレームワークが提供される。