[論文レビュー] Stochastic ADMM for Nonsmooth Optimization

Hua Ouyang, Niao He+1 more|arXiv (Cornell University)|Nov 3, 2012

Sparse and Compressive Sensing Techniques参考文献 17被引用数 15

ひとこと要約

本稿では、線形等式制約下での非滑らか凸最適化に対して、確率的目的関数を伴う確率的交替方向乗数法（ADMM）を提案する。確率的成分の一次近似を導入し、劣勾配情報を利用することで、凸関数に対しては $O(1/ackslashsqrt{t})$、強凸関数に対しては $O(\log t / t)$ の収束速度を達成し、目的関数値および実行可能性違反に関する、両者に対する初めての明示的収束レートを確立した。

ABSTRACT

We present a stochastic setting for optimization problems with nonsmooth convex separable objective functions over linear equality constraints. To solve such problems, we propose a stochastic Alternating Direction Method of Multipliers (ADMM) algorithm. Our algorithm applies to a more general class of nonsmooth convex functions that does not necessarily have a closed-form solution by minimizing the augmented function directly. We also demonstrate the rates of convergence for our algorithm under various structural assumptions of the stochastic functions: $O(1/\sqrt{t})$ for convex functions and $O(\log t/t)$ for strongly convex functions. Compared to previous literature, we establish the convergence rate of ADMM algorithm, for the first time, in terms of both the objective value and the feasibility violation.

研究の動機と目的

• 線形制約下での大規模かつ分散型最適化問題に、非滑らかで確率的な目的関数を適用する。
• 真のデータ分布の完全な知識が不要な、ノイズありまたはサンプルされたデータを扱えるADMMの確率的変種を開発する。
• 従来の文献で未だ得られていなかった、目的関数値および実行可能性違反の両方に対する収束速度を確立する。
• 非滑らかな関数（例：ハッジ損失）に対して閉形式での更新を可能にし、各反復における高価な部分問題の解法を回避する。
• 増大ラグランジュフレームワーク下で閉形式解が得られない凸関数の広いクラスへADMMを一般化する。

提案手法

• 確率的ADMMアルゴリズムを提案し、増大ラグランジュアンの直接最小化を避けるために、確率的目的関数 $\theta_1(\mathbf{x}, \bm{\xi})$ の一次近似を用いる。
• 反復 $k$ における $\mathbf{x}_{k+1}$ の更新則を、$\theta_1(\mathbf{x}_k, \bm{\xi}_{k+1})$ の劣勾配に基づいて修正し、確率的サンプリング下でも収束を保証する。
• 収束と安定性のバランスを図るため、減少するステップサイズ $\eta_{k+1}$ と固定のペナルティパラメータ $\beta$ を採用する。
• 双対変数 $\bm{\lambda}$ を $\bm{\lambda}_{k+1} = \bm{\lambda}_k + \beta(A\mathbf{x}_{k+1} + B\mathbf{y}_{k+1} - \mathbf{b})$ により更新する増大ラグランジュアンフレームワークを採用する。
• リャプノフ関数を用いて収束バウンドを導出し、確率的劣勾配誤差を制御するためにヤングの不等式を適用する。
• 目的関数誤差と制約違反の両方を同時に追跡する、新たな解析フレームワークにより収束を確立する。

実験結果

リサーチクエスチョン

• RQ1 真の目的関数がノイズのあるサンプルのみで入手可能な確率的・非滑らか最適化問題に、ADMMを拡張できるか？
• RQ2 このような確率的設定下で、目的関数値および実行可能性違反の収束速度をどの程度保証できるか？
• RQ3 ハッジ損失のような非滑らかな関数に対し、反復的部問題の解法を回避できるように、アルゴリズムをどのように設計できるか？
• RQ4 一般凸関数と強凸関数の仮定の下で、それぞれ $O(1/\sqrt{t})$ および $O(\log t / t)$ の収束速度を達成できるか？
• RQ5 オンラインADMMおよび決定的ADMMと比較して、収束保証および計算効率の面で、本手法はどのように差をつけるか？

主な発見

• 提案された確率的ADMMは、一般凸関数に対して $O(1/\sqrt{t})$ の収束速度を達成し、決定的設定下で達成可能な最良のレートと一致する。
• 強凸関数に対しては、$O(\log t / t)$ のより速い収束速度を達成し、対数要因を除いて最適である。
• 収束解析により、目的関数値の差と実行可能性違反の両方に対するバウンドを確立したが、これは従来の研究が変分不等式の満たし方のみを検討していたのとは対照的である。
• 非滑らかなハッジ損失関数に対し、反復的SVMソルバーを必要としない閉形式での更新が可能である。
• アルゴリズムは確率的劣勾配ノイズに対してロバストであり、確率変数 $\bm{\xi}$ のi.i.d.サンプリング下でも収束を維持する。
• 理論的解析は、反復点および双対変数の時間的変化を追跡するリャプノフ関数アプローチにより、妥当性を検証した。