[論文レビュー] Stochastic Alternating Direction Method of Multipliers with Variance Reduction for Nonconvex Optimization

Feihu Huang, Songcan Chen+1 more|arXiv (Cornell University)|Oct 10, 2016

Sparse and Compressive Sensing Techniques参考文献 29被引用数 12

ひとこと要約

本稿では、分散を低減した確率的ADMMの変種として、SVRG-ADMM、SAG-ADMM、SAGA-ADMMの3つの手法を非凸最適化に提案する。これらの手法は、分散を低減した確率的勾配を用いることで収束を加速する。やや弱い条件下でも、ε-停留解を求めるためにO(1/ε)の反復複雑性を達成し、非凸な確率的ADMMに分散低減を適用する一般的なフレームワークを提供する。

ABSTRACT

In the paper, we study the stochastic alternating direction method of multipliers (ADMM) for the nonconvex optimizations, and propose three classes of the nonconvex stochastic ADMM with variance reduction, based on different reduced variance stochastic gradients. Specifically, the first class called the nonconvex stochastic variance reduced gradient ADMM (SVRG-ADMM), uses a multi-stage scheme to progressively reduce the variance of stochastic gradients. The second is the nonconvex stochastic average gradient ADMM (SAG-ADMM), which additionally uses the old gradients estimated in the previous iteration. The third called SAGA-ADMM is an extension of the SAG-ADMM method. Moreover, under some mild conditions, we establish the iteration complexity bound of $O(1/ε)$ of the proposed methods to obtain an $ε$-stationary solution of the nonconvex optimizations. In particular, we provide a general framework to analyze the iteration complexity of these nonconvex stochastic ADMM methods with variance reduction. Finally, some numerical experiments demonstrate the effectiveness of our methods.

研究の動機と目的

• 確率的ADMMの収束が、確率的勾配の分散が高いために遅延する問題に対処すること。
• SVRG、SAG、SAGAの分散低減技術を非凸問題のADMMフレームワークに拡張すること。
• 非凸な確率的ADMMに分散低減を適用するための一般的な収束解析フレームワークを確立すること。
• 非凸設定下でε-停留解を求めるために、O(1/ε)の反復複雑性を達成すること。
• 非凸モデルにおける数値実験を通じて、提案手法の有効性を検証すること。

提案手法

• 多段階スキームを用いて、確率的ADMMにおける勾配の分散を段階的に低減するSVRG-ADMMを導入する。
• 以前の反復で計算された勾配を組み込むことで分散を低減するSAG-ADMMを構築する。
• SAG-ADMMの拡張として、より効率的な勾配更新戦略を採用したSAGA-ADMMを提案する。
• 一般化されたリャプノフ関数に基づく解析を用いて、やや弱い仮定のもとで収束保証を導出する。
• 分散低減付きの確率的勾配推定器を用いて、非凸設定下でのADMMの部分問題を安定化する。
• ステップサイズのルールと双対変数の更新メカニズムを適用し、停留点への収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 分散低減付き確率的勾配法は、非凸最適化のADMMフレームワークに効果的に適応可能か？
• RQ2 非凸設定下での分散低減付き確率的ADMMの反復複雑性はいかほどか？
• RQ3 SVRG、SAG、SAGAの各変種は、非凸ADMMにおいて性能と収束性でどのように比較されるか？
• RQ4 非凸な確率的ADMMに分散低減を適用するための統一された収束解析フレームワークを確立可能か？
• RQ5 非凸な確率的ADMMでε-停留解への収束を保証する条件は何か？

主な発見

• 提案された非凸な確率的ADMM手法は、ε-停留解を求めるためにO(1/ε)の反復複雑性を達成し、非凸確率的最適化の最良知られていたレートと一致する。
• SAGA-ADMMの変種は、反復回数Tを用いてO(1/T)の収束レートでε-停留点に収束することが確認された。
• 理論的解析により、勾配のリプシッツ連続性と分散の有界性といったやや弱い仮定のもとで、これらの手法が停留点に収束することが確認された。
• 数値実験により、標準的な確率的ADMMと比較して、提案手法が有効でかつより速い収束を示した。
• このフレームワークは、ロバストなグラフ誘導学習やスパース学習を含む多様な非凸モデルにうまく一般化された。
• 過去の勾配や双対変数を格納する追加メモリを必要としないため、大規模問題においてもスケーラブルである。