[論文レビュー] The Complexity of Making the Gradient Small in Stochastic Convex Optimization

Dylan J. Foster, Ayush Sekhari+4 more|arXiv (Cornell University)|Feb 13, 2019

Stochastic Gradient Optimization Techniques参考文献 24被引用数 16

ひとこと要約

この論文は、局所的確率的オラクルとグローバル統計的学習モデルの両方において、確率的凸最適化における$\epsilon$-停留立点を求める際のオラクル複雑度について、ほぼタイトな上界と下界を確立している。それぞれのモデルにおける滑らかさの影響が異なり、グローバル学習では対数的依存、局所オラクルでは多項式的依存となることが明らかになった。これは複雑度に指数的差をもたらし、滑らかさが停留立点を求めるために本質的であるという一般的な信念に疑問を呈する。

ABSTRACT

We give nearly matching upper and lower bounds on the oracle complexity of finding $ε$-stationary points ($\| abla F(x) \| \leqε$) in stochastic convex optimization. We jointly analyze the oracle complexity in both the local stochastic oracle model and the global oracle (or, statistical learning) model. This allows us to decompose the complexity of finding near-stationary points into optimization complexity and sample complexity, and reveals some surprising differences between the complexity of stochastic optimization versus learning. Notably, we show that in the global oracle/statistical learning model, only logarithmic dependence on smoothness is required to find a near-stationary point, whereas polynomial dependence on smoothness is necessary in the local stochastic oracle model. In other words, the separation in complexity between the two models can be exponential, and that the folklore understanding that smoothness is required to find stationary points is only weakly true for statistical learning. Our upper bounds are based on extensions of a recent "recursive regularization" technique proposed by Allen-Zhu (2018). We show how to extend the technique to achieve near-optimal rates, and in particular show how to leverage the extra information available in the global oracle model. Our algorithm for the global model can be implemented efficiently through finite sum methods, and suggests an interesting new computational-statistical tradeoff.

研究の動機と目的

• 確率的凸最適化における$\epsilon$-停留立点を求めるオラクル複雑度の理解のギャップを埋めること。
• 複雑度を最適化（局所オラクル）とサンプル（グローバルオラクル）の成分に分解すること。
• 確率的設定において近似停留立点を求めるために滑らかさが本質的に必要かどうかを明確にすること。
• 局所的確率的オラクルとグローバル統計的学習オラクルモデルの両方について、ほぼタイトな上界と下界を確立すること。
• 再帰的正則化に基づく新しいアルゴリズムフレームワークが明らかにする計算-統計的トレードオフを調査すること。

提案手法

• アレン・ズー（2018）の手法を拡張した再帰的正則化技術を提案し、確率的凸最適化における近似的最適レートを達成する。
• 近似停留立点問題をノイズ付きバイナリサーチ（NBS）問題に還元することで、下界を導出する。
• 勾配が$H$-リプシッツで、分散が$\sigma^2$に有界な凸関数を構築し、その勾配が唯一、NBSの解に対応する狭い区間でのみ小さくなるようにする。
• 関数の期待値導関数を用いて、$|F'(x)| \leq \epsilon$ が成り立つのは、真の中央値$j^*$を含む区間内でのみであることを保証する。
• NBS行列からの最大2つのエントリを使用して局所的確率的オラクルクエリをシミュレートし、最適化からNBSへの小さなクエリオーバーヘッドで還元可能にする。
• 既知のNBSの下界を応用し、$\epsilon$-停留立点を求めるために必要なオラクル呼び出し回数のタイトな下界を導出する。

実験結果

リサーチクエスチョン

• RQ1 局所的確率的オラクルモデルとグローバル統計的学習モデルの下で、確率的凸最適化における$\epsilon$-停留立点を求める最適なオラクル複雑度は何か？
• RQ2 局所的確率的オラクルモデルとグローバルオラクルモデルにおける滑らかさ$H$への依存度はどのように異なるか？
• RQ3 統計的学習の文脈において、滑らかさが停留立点を求めるために必要であるという一般的な信念は正しいか？
• RQ4 グローバルオラクルモデルは、集約データへのアクセスのおかげで、局所オラクルモデルよりも著しく優れた複雑度を達成できるか？
• RQ5 再帰的正則化に基づく新しいアルゴリズムフレームワークが明らかにする計算-統計的トレードオフは何か？

主な発見

• 局所的確率的オラクルの複雑度は$\tilde{\Omega}\left(\sqrt{\frac{HR}{\epsilon}} + \frac{\sigma^2}{\epsilon^2}\right)$であり、対数的要因を除いて上界と一致する。
• グローバルオラクル（統計的学習）の複雑度は$\tilde{\Omega}\left(\frac{\sigma^2}{\epsilon^2}\log\left(\frac{HR}{\epsilon}\right)\right)$であり、滑らかさ$H$への依存は対数的である。
• これに対して、局所的確率的オラクルモデルでは$H$への多項式的依存が必要であり、両モデル間で複雑度に指数的差が生じる。
• グローバルモデルの下界は、ノイズ付きバイナリサーチ（NBS）問題への還元によって導出され、$\Omega\left(\frac{\sigma^2}{\epsilon^2}\log\left(\frac{HR}{\epsilon}\right)\right)$のサンプルが必要であることが示された。
• グローバルモデルのアルゴリズムは有限和法を用いて効率的に実装可能であり、新たな計算-統計的トレードオフを示唆している。
• 結果として、統計的学習において停留立点を求めるために滑らかさが必要であるという要件は、$H$への対数的依存で十分であるため、弱い真実に過ぎないことが示された。