[論文レビュー] The Complexity of Finding Stationary Points with Stochastic Gradient Descent

Yoel Drori, Ohad Shamir|arXiv (Cornell University)|Oct 4, 2019

Stochastic Gradient Optimization Techniques参考文献 24被引用数 12

ひとこと要約

この論文は、滑らかで、おそらく非凸な最適化において、停留点を求めるための確率的勾配降下法（SGD）の反復複雑性の根本的な下界を確立する。Lipschitzヘッセ行列、分散ノイズ、有界次元といった追加の仮定がなければ、GhadimiとLanの$\epsilon^{-4}$の複雑性境界がタイトであることが示され、凸二次関数に対しても同様に成り立つ。これは、標準的な基準のもとで、このような仮定がなければSGDが$\epsilon^{-4}$より良い収束を達成できないことを示唆している。

ABSTRACT

We study the iteration complexity of stochastic gradient descent (SGD) for minimizing the gradient norm of smooth, possibly nonconvex functions. We provide several results, implying that the $\mathcal{O}(ε^{-4})$ upper bound of Ghadimi and Lan~\cite{ghadimi2013stochastic} (for making the average gradient norm less than $ε$) cannot be improved upon, unless a combination of additional assumptions is made. Notably, this holds even if we limit ourselves to convex quadratic functions. We also show that for nonconvex functions, the feasibility of minimizing gradients with SGD is surprisingly sensitive to the choice of optimality criteria.

研究の動機と目的

• 勾配ノルムを最小化するSGDの$\epsilon^{-4}$反復複雑性を、追加の仮定なしに改善できるかを特定すること。
• Lipschitzヘッセ行列、分散ノイズ、有界次元といった仮定が、$\epsilon^{-4}$の壁を破るために必要となる理由を特定すること。
• 非凸設定における最適性基準へのSGDの収束感度を分析すること。
• 標準的なSGD（固定または徐々に減少するステップサイズ）が、最小勾配ノルムを最小化する際、$\epsilon^{-4}$より良い複雑性を達成できないことを確立すること。

提案手法

• ガウスノイズを伴う凸二次関数を用いて、T反復後の期待最小勾配ノルムの下界を導出する。
• L-リプシッツ勾配と有界な初期のサブ最適性$\Delta$を持つ特定の問題例を構築し、SGDの挙動を分析する。
• 確率的議論を用いて、強い仮定が成り立たない限り、$\min_t \|\nabla f(x_t)\|^2$が高確率でゼロから遠ざかっていることを示す。
• 2つの主要な命題を適用する：1つは$\Delta$と総ステップサイズの観点から最小勾配ノルムをバインドするもの、もう1つは定数またはゆっくり減少するステップサイズのもの。
• 定数、減少、適応的ステップサイズスケジュールを検討し、標準的なSGDの変種においても下界が一貫して成り立つことを示す。
• ランダム化または代替基準（例：平均勾配ノルム）が使われない限り、次元に依存しない境界は達成不可能であることを示す。

実験結果

リサーチクエスチョン

• RQ1 勾配ノルムを最小化するSGDの$\epsilon^{-4}$反復複雑性は、追加の仮定なしに改善可能か？
• RQ2 標準的なSGDとガウスノイズのもとで、凸二次関数に対しても$\epsilon^{-4}$境界はタイトか？
• RQ3 Lipschitzヘッセ行列、分散ノイズ、有界次元といった仮定が、より速い収束を可能にする役割は何か？
• RQ4 集約が使われない場合、高次元におけるSGDの最小勾配ノルムは、なぜ最適性基準として不適切なのか？
• RQ5 固定または徐々に減少するステップサイズを用いた標準的なSGDは、$\min_t \|\nabla f(x_t)\|$を最小化する際、$\epsilon^{-4}$より良い複雑性を達成できるか？

主な発見

• ガウスノイズを伴う凸二次関数において、$\min_t \|\nabla f(x_t)\|$を最小化するSGDは、最適ステップサイズであっても、$\Omega(\epsilon^{-4})$の反復複雑性を超えることはできない。
• 有界次元がなければ、勾配ノルムを最小化するための決定的集約スキームは、凸二次関数に対しても有限の複雑性境界を達成できない。
• Lipschitzヘッセ行列や分散ノイズがなければ、$\Omega(\epsilon^{-4})$の下界は、集約が使われない限り成り立つ。
• 集約が使われない場合、分散ノイズとLipschitzヘッセ行列が存在しても、$\min_t \|\nabla f(x_t)\|$を最小化する際の複雑性は$\Omega(\epsilon^{-3})$である。
• 定数またはゆっくり減少するステップサイズでは、最小勾配ノルムが$\Omega(\sigma^2)$で下からバインドされ、$\sigma \to 0$でなければゼロに収束しない。これは実用上不可能である。
• 高確率で$\min_t \|\nabla f(x_t)\|^2 \geq c \cdot \min\{L\Delta, \sigma^2\}/\sqrt{T}$という下界が成り立つ。これは、標準的なSGD設定において$\epsilon^{-4}$が避けられないことを証明する。