[論文レビュー] From low probability to high confidence in stochastic convex optimization

Damek Davis, Dmitriy Drusvyatskiy+2 more|arXiv (Cornell University)|Jul 31, 2019

Stochastic Gradient Optimization Techniques参考文献 45被引用数 7

ひとこと要約

この論文は、強い凸性を満たす問題に対して、任意の低信頼度の確率的最適化アルゴリズムを高信頼度の収束保証を持つものに変換する汎用的手法であるproxBoostを提案する。ロバストな距離推定とプロキシマルポイント法を組み合わせることで、信頼度にたいする対数的オーバーヘッドと条件数にたいする多対数的依存性を達成し、標準的手法と比較して顕著に高いサンプル複雑性を改善する。

ABSTRACT

Standard results in stochastic convex optimization bound the number of samples that an algorithm needs to generate a point with small function value in expectation. More nuanced high probability guarantees are rare, and typically either rely on "light-tail" noise assumptions or exhibit worse sample complexity. In this work, we show that a wide class of stochastic optimization algorithms for strongly convex problems can be augmented with high confidence bounds at an overhead cost that is only logarithmic in the confidence level and polylogarithmic in the condition number. The procedure we propose, called proxBoost, is elementary and builds on two well-known ingredients: robust distance estimation and the proximal point method. We discuss consequences for both streaming (online) algorithms and offline algorithms based on empirical risk minimization.

研究の動機と目的

• 制限的なノイズ仮定を課さずに、低信頼度の確率的最適化アルゴリズムを高信頼度のものに変換する汎用的で低コストの手法の開発。
• 強い凸設定において、信頼度$p$にたいするサンプル複雑性の依存関係を$\mathcal{O}(1/p)$から$\mathcal{O}(\log(1/p))$に低減すること。
• 条件数$\kappa$への望ましい依存関係を維持し、多対数的スケーリングを達成すること（多項式的または指数的増加を回避）。
• 高信頼度の保証を、オンライン（ストリーミング）およびオフライン（経験的リスク最小化）の両最適化フレームワークに拡張すること。

提案手法

• ブラックボックス最小化オракル$\mathcal{M}(f,\epsilon)$を用い、確率的に少なくとも$2/3$の確率で、最適値からの差が$\leq \epsilon$である点を返す。
• 複数のオラクル出力におけるクラスタリングを活用して、最小値に近い点を特定するため、$\text{RobustGap}$手順によるロバストギャップ推定を実施。
• 逐次的に正則化パラメータ$\lambda_i = \mu 2^i$を増加させることで、反復的に解を精錬するプロキシマルポイント法を適用。
• BoostAlgCと呼ばれるアルゴリズムは、ロバスト推定とプロキシマル確率的勾配ステップを組み合わせ、高確率収束を保証する。
• 総コストは$\mathcal{O}(\log(\log \kappa / p) \cdot \log \kappa \cdot \mathcal{C}_{\mathcal{M}}(f, \epsilon / \log \kappa))$とスケーリングされ、$1/p$にたいする対数的依存性と$\kappa$にたいする多対数的依存性を有する。
• 確率的勾配法のプロキシマル拡張を用いることで、滑らかでない合成問題に対しても適用可能である。

実験結果

リサーチクエスチョン

• RQ1 広範なクラスの確率的最適化アルゴリズムを、制限的なノイズ仮定を課さずに高信頼度収束を達成できるように拡張可能か？
• RQ2 強い凸設定において、低信頼度オラクルを高信頼度のものに変換するために必要な最小限のオーバーヘッドは何か？
• RQ3 ロバストな距離推定とプロキシマル手法をどのように組み合わせれば、最小限のサンプル複雑性で高確率保証を達成できるか？
• RQ4 得られる手続きは、$1/p$にたいする対数的依存性を達成しつつ、条件数$\kappa$にたいする望ましい依存関係を維持できるか？

主な発見

• 提案されたproxBoost手順は、総コストが$\mathcal{O}(\log(\log \kappa / p) \cdot \log \kappa \cdot \mathcal{C}_{\mathcal{M}}(f, \epsilon / \log \kappa))$とスケーリングされ、$1/p$にたいする対数的依存性と$\kappa$にたいする多対数的依存性を保証する高信頼度収束を達成する。
• 目標精度$\epsilon$と失敗確率$p$に対して、アルゴリズムは$\lceil 18\ln(\frac{4+2\lceil\log_2 \kappa\rceil}{p}) \rceil \cdot \lceil 2 + \log_2 \kappa \rceil$回のベースオラクル呼び出しを必要とする。
• 総確率的勾配評価数は$\mathcal{O}(\log(1/p) \cdot \log \kappa \cdot \frac{\sigma^2}{L\epsilon})$とスケーリングされ、滑らかさがある場合に標準的手法と同等のサンプル複雑性を達成する。
• 初期化誤差は$\frac{9\kappa + 1 + 2\lceil \log_2 \kappa \rceil}{2 + 2\lceil \log_2 \kappa \rceil} \epsilon$で有界であり、所望の精度への収束を保証する。
• プロキシマル拡張を用いることで、合成問題へも一般化され、滑らかさがある場合と同等のサンプル複雑性を維持する。
• 非サブガウスノイズに対してもロバストであり、軽い尾部仮定を必要としないため、広範に適用可能である。