[論文レビュー] Handbook of Convergence Theorems for (Stochastic) Gradient Methods

Guillaume Garrigos, Robert M. Gower|arXiv (Cornell University)|Jan 26, 2023

Stochastic Gradient Optimization Techniques被引用数 18

ひとこと要約

勾配法と確率的勾配法の収束と収束速度について、凸、強凸、Polyak-Łojasiewicz、滑らか/非滑らかな設定にわたる、ミニバッチやモーメントのバリエーションを含む、コピー可能な簡潔な証明を集めたハンドブック。

ABSTRACT

This is a handbook of simple proofs of the convergence of gradient and stochastic gradient descent type methods. We consider functions that are Lipschitz, smooth, convex, strongly convex, and/or Polyak-Łojasiewicz functions. Our focus is on ``good proofs'' that are also simple. Each section can be consulted separately. We start with proofs of gradient descent, then on stochastic variants, including minibatching and momentum. Then move on to nonsmooth problems with the subgradient method, the proximal gradient descent and their stochastic variants. Our focus is on global convergence rates and complexity rates. Some slightly less common proofs found here include that of SGD (Stochastic gradient descent) with a proximal step, with momentum, and with mini-batching without replacement.

研究の動機と目的

• 凸、強凸、PL、滑らか/非滑らかな関数クラスに跨る、勾配法と確率的勾配法の収束に関するアクセスしやすい高レベルの証明を提供する。
• 既知の証明を収集・整理し、全体的・複雑度の評価を得ることができる、単純で再現性のある議論に整理する。
• 勾配降下法、確率的勾配降下法、ミニバッチ SGD、確率的モーメント、近似法の変種、およびそれらの非滑らかな拡張を扱う。
• 全体を線形に読み込むことを必要とせず、章ごとにこれらの証明を適用するためのガイダンスを提供する。

提案手法

• 凸性、強凸性、および Polyak-Łojasiewicz (PL) 条件の下での勾配降下法 (GD) の証明を提示する。
• 確率的変体へ拡張する: SGD、ミニバッチ SGD、および確率的モーメント。
• サブグラデント法、近似勾配、確率的近似変種を用いた非滑らかな場合を扱う。
• 収束性と複雑度のレートを開発・適用する（例: 凸の場合は O(1/t)、強凸の場合は線形、PLベースの境界）。
• 微分可能性、凸性、滑らかさ、コア性についての補助レマを提供して証明を支援する。

実験結果

リサーチクエスチョン

• RQ1 凸性、強凸性、PL仮定の下での GD および確率的変異のグローバルな収束保証と収束速度はどうなるか？
• RQ2 SGDとその変種において、ミニバッチとモーメントは収束速度にどう影響するか？
• RQ3 決定論的および確率的設定のいずれにおいても、サブグラデントと近似法を用いた非滑らかな問題の複雑性への含意は何か？

主な発見

• GD は 凸かつ滑らかな関数に対し、適切なステップサイズを用いると f(x^t) - inf f ≤ O(1/t) のサブ線形収束を達成する。
• 強凸かつ滑らかな関数は、GD で線形収束を示し、収束速度は条件数 (1 − μ/L) に依存する。
• PL-condition は、滑らかさを伴う PL 条件は、滑らか性を持つ場合、強凸の場合に類似した収束保証をもたらし、特定の非凸問題にも適用される。
• 確率的変種（SGD、ミニバッチ SGD、モーメント）は、同じ関数クラスの仮定の下で対応する収束結果と複雑度の境界を持つ。
• 非滑らかな設定（サブグラデント、近接、確率的近接）は、類似の収束保証と複雑度の結果で扱われる。
• このハンドブックは証明を整理・簡略化し、幅広い勾配ベースの手法においてアクセスしやすく、出典にそのまま使える導出を提供する。