[論文レビュー] Nonasymptotic convergence of stochastic proximal point algorithms for constrained convex optimization

Andrei Pătraşcu, Ion Necoara|arXiv (Cornell University)|Jun 20, 2017

Stochastic Gradient Optimization Techniques参考文献 24被引用数 9

ひとこと要約

本稿は、制約付き凸最適化における確率的近位点（SPP）アルゴリズムの非漸近的収束を分析し、平均化SPP（A-SPP）および正則化SPP（RSPP）を含む変種を提案する。SPPの収束レートはO(1/ϵ¹/γ)、RSPPの収束レートはO(1/ϵ¹⁺¹/γ)であることを確立し、ステップサイズ指数γが小さくなると性能が低下することを示し、実験的にRSPPが最も速い収束を達成している一方、A-SPPは初期ステップサイズの選択に対して最も安定していることを示している。

ABSTRACT

A very popular approach for solving stochastic optimization problems is the stochastic gradient descent method (SGD). Although the SGD iteration is computationally cheap and the practical performance of this method may be satisfactory under certain circumstances, there is recent evidence of its convergence difficulties and instability for unappropriate parameters choice. To avoid these drawbacks naturally introduced by the SGD scheme, the stochastic proximal point algorithms have been recently considered in the literature. We introduce a new variant of the stochastic proximal point method (SPP) for solving stochastic convex optimization problems subject to (in)finite intersection of constraints satisfying a linear regularity type condition. For the newly introduced SPP scheme we prove new nonasymptotic convergence results. In particular, for convex and Lipschitz continuous objective functions, we prove nonasymptotic estimates for the rate of convergence in terms of the expected value function gap of order $\mathcal{O}(1/k^{1/2})$, where $k$ is the iteration counter. We also derive better nonasymptotic bounds for the rate of convergence in terms of expected quadratic distance from the iterates to the optimal solution for smooth strongly convex objective functions, which in the best case is of order $\mathcal{O}(1/k)$. Since these convergence rates can be attained by our SPP algorithm only under some natural restrictions on the stepsize, we also introduce a restarting variant of SPP method that overcomes these difficulties and derive the corresponding nonasymptotic convergence rates. Numerical evidence supports the effectiveness of our methods in real-world problems.

研究の動機と目的

• 制約付き凸最適化下での確率的近位点アルゴリズムの非漸近的収束挙動を分析すること。
• 有限時間設定におけるSPP、平均化SPP（A-SPP）、正則化SPP（RSPP）、SGDの性能を比較すること。
• ステップサイズ指数γに依存する理論的収束レートの実証的検証を行うこと。
• アルゴリズムの初期ステップサイズμ₀およびステップサイズ減衰率γに対するロバストネスを評価すること。

提案手法

• ステップサイズ規則μk = μ₀ / k^γに従う減少ステップサイズを用いた確率的近位点アルゴリズムを採用する。
• 過去の反復点の重み付き平均を出力することで安定性を向上させる平均化バージョン（A-SPP）を導入する。
• 収束速度とロバストネスを向上させるために正則化SPP（RSPP）を提案する。
• ランダムな最小二乗問題と実世界のMarkowitzポートフォリオ最適化を用いた経験的リスク最小化によりアルゴリズムをテストする。
• 反復回数にわたる最適解からの二乗相対距離を収束指標として用いる。
• ステップサイズ指数γ（1, 3/4, 1/2, 1/4）と初期ステップサイズμ₀（0.5, 1）を変化させた状況で性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 制約付き凸最適化下でのSPPアルゴリズムの非漸近的収束レートは何か？
• RQ2 ステップサイズ指数γの選択がSPPおよびRSPPの収束速度とロバストネスに与える影響は何か？
• RQ3 初期ステップサイズμ₀の値が異なる場合、A-SPPは標準SPPおよびRSPPと比べて安定性に優れているか？
• RQ4 γが小さくなるに従って、SPP、RSPP、A-SPP、SGDはデータ1回パスでどの程度の性能を示すか？
• RQ5 実験的結果は、理論的レートO(1/ϵ¹/γ)およびO(1/ϵ¹⁺¹/γ)をどの程度支持しているか？

主な発見

• SPPアルゴリズムはステップサイズ指数γ = 1のときに最良の性能を示し、理論的期待と一致する。
• RSPPは実験において最も速い収束速度を示し、すべてのテスト設定でSPP、A-SPP、SGDを上回っている。
• A-SPPは初期ステップサイズμ₀の変更に対して優れたロバストネスを示し、μ₀ = 0.5およびμ₀ = 1の両方で安定した性能を維持している。
• SGDの性能はγが小さくなると著しく低下し、特にγ = 1/2ではμ₀に非常に敏感である。
• 実験的結果は理論的収束レートとよく一致しており、SPPはO(1/ϵ¹/γ)、RSPPはO(1/ϵ¹⁺¹/γ)のレートで収束している。
• SPPおよびRSPPの両方の性能はγが小さくなるに従って劣化し、理論的な収束速度と安定性のトレードオフを確認している。