[論文レビュー] Faster Stochastic Alternating Direction Method of Multipliers for Nonconvex Optimization

Feihu Huang, Songcan Chen+1 more|arXiv (Cornell University)|Aug 4, 2020

Sparse and Compressive Sensing Techniques被引用数 19

ひとこと要約

本稿では、新しい確率的パス統合微分推定器（SPIDER）を用いた非凸最適化のための高速な確率的交替方向乗数法（SPIDER-ADMM）を提案する。この手法は、最適なインクリメンタル1次オракル（IFO）複雑度 $ olimits\mathcal{O}(n + n^{1/2}\epsilon^{-1})$ を達成し、既存手法よりも $ olimits\mathcal{O}(n^{1/6})$ の要因で改善され、非凸確率的ADMMの分析のための新しい理論的枠組みを確立する。

ABSTRACT

In this paper, we propose a faster stochastic alternating direction method of multipliers (ADMM) for nonconvex optimization by using a new stochastic path-integrated differential estimator (SPIDER), called as SPIDER-ADMM. Moreover, we prove that the SPIDER-ADMM achieves a record-breaking incremental first-order oracle (IFO) complexity of $\mathcal{O}(n+n^{1/2}ε^{-1})$ for finding an $ε$-approximate stationary point, which improves the deterministic ADMM by a factor $\mathcal{O}(n^{1/2})$, where $n$ denotes the sample size. As one of major contribution of this paper, we provide a new theoretical analysis framework for nonconvex stochastic ADMM methods with providing the optimal IFO complexity. Based on this new analysis framework, we study the unsolved optimal IFO complexity of the existing non-convex SVRG-ADMM and SAGA-ADMM methods, and prove they have the optimal IFO complexity of $\mathcal{O}(n+n^{2/3}ε^{-1})$. Thus, the SPIDER-ADMM improves the existing stochastic ADMM methods by a factor of $\mathcal{O}(n^{1/6})$. Moreover, we extend SPIDER-ADMM to the online setting, and propose a faster online SPIDER-ADMM. Our theoretical analysis shows that the online SPIDER-ADMM has the IFO complexity of $\mathcal{O}(ε^{-\frac{3}{2}})$, which improves the existing best results by a factor of $\mathcal{O}(ε^{-\frac{1}{2}})$. Finally, the experimental results on benchmark datasets validate that the proposed algorithms have faster convergence rate than the existing ADMM algorithms for nonconvex optimization.

研究の動機と目的

• 非凸確率的ADMM手法における最適なインクリメンタル1次オラクル（IFO）複雑度の分析が不足しているという問題に取り組む。
• 非凸設定において、確率的ADMMが決定的ADMMよりも低いIFO複雑度を達成できるかどうかを解明する。
• 最適な収束保証を備えた非凸確率的ADMMのための新しい理論的分析枠組みを開発する。
• 分散低減を活用して、既存の非凸確率的ADMM（例：SVRG-ADMMやSAGA-ADMM）のIFO複雑度を改善する。
• 提案手法をオンライン設定に拡張し、その領域における改善されたIFO複雑度を達成する。

提案手法

• 非凸最適化における勾配分散を低減するためにSPIDER推定器を用いたSPIDER-ADMMという確率的ADMMの変種を提案する。
• パス統合微分推定器に基づく新しい理論的分析枠組みを導入し、増大ラグランジュ関数の勾配の期待ノルムを評価する。
• 増大ラグランジュ関数の勾配への期待距離を分析することで収束保証を導出し、$ olimits\epsilon$-近似停留点への収束を保証する。
• 反復回数を所望の精度 $ olimits\epsilon$ とサンプルサイズ $n$ に関連付けることで、IFO複雑度の上限を確立する。
• SPIDER-ADMMをオンライン設定に拡張し、$ olimits\mathcal{O}(\epsilon^{-3/2})$ のIFO複雑度を達成するオンラインSPIDER-ADMMを提案する。
• 安定性と収束を保証するため、ステップサイズ $\eta = \frac{\alpha \sigma_{\min}(G)}{17L}$ とペナルティパラメータ $\rho = \frac{2\sqrt{2031}\kappa_G}{\sigma^{A}_{\min}\alpha}$ を使用する。

実験結果

リサーチクエスチョン

• RQ1 非凸最適化において、確率的ADMMは決定的ADMMよりも低いインクリメンタル1次オラクル（IFO）複雑度を達成できるか？
• RQ2 非凸確率的ADMM手法が達成可能な最適なIFO複雑度は何か？
• RQ3 既存の非凸SVRG-ADMMおよびSAGA-ADMM手法は最適なIFO複雑度を達成しているのか？そうでない場合、その真の複雑度は何か？
• RQ4 SPIDER推定器は非凸問題におけるADMMに効果的に統合可能で、より高速な収束を実現できるか？
• RQ5 オンライン非凸ADMM設定における最適なIFO複雑度は何か？さらに改善可能か？

主な発見

• SPIDER-ADMMは、非凸有限和問題において $\epsilon$-近似停留点を求める際、IFO複雑度 $\mathcal{O}(n + n^{1/2}\epsilon^{-1})$ を達成する。
• この複雑度は、決定的ADMMに対して $\mathcal{O}(n^{1/2})$ の要因で改善され、既存の確率的ADMMよりも $\mathcal{O}(n^{1/6})$ の要因で改善される。
• 本稿では、SVRG-ADMMおよびSAGA-ADMMが最適なIFO複雑度 $\mathcal{O}(n + n^{2/3}\epsilon^{-1})$ を達成することを証明し、それらの効率性に関する未解決の問題を解決する。
• オンラインSPIDER-ADMMは、IFO複雑度 $\mathcal{O}(\epsilon^{-3/2})$ を達成し、既存の最良結果よりも $\mathcal{O}(\epsilon^{-1/2})$ の要因で改善される。
• 理論的分析により、適切なパrameter設定のもとで、提案された枠組みが $\mathcal{O}(1/T)$ のレートで $\epsilon$-近似停留点への収束を保証することが確認された。
• ベンチマークデータセットにおける実験結果により、SPIDER-ADMMが非凸最適化における既存のADMM手法よりも高速に収束することが実証された。