[論文レビュー] Stochastic Frank-Wolfe for Composite Convex Minimization

Francesco Locatello, Alp Yurtsever+2 more|Infoscience (Ecole Polytechnique Fédérale de Lausanne)|Jan 29, 2019

Sparse and Compressive Sensing Techniques被引用数 10

ひとこと要約

本稿では、アフィン制約下での合成凸最小化に対する、初めての確率的フランク＝ウルフ法を提案する。線形最小化オракル（lmo）を活用することで、高価な射影を回避する。目的関数の残差に対して$Ó(k^{-1/3})$の収束速度、制約適合性のギャップに対して$Ó(k^{-5/12})$の収束速度を達成し、機械学習および工学分野におけるスケーラブルな確率的半正定値計画問題（SDP）の解法を可能にする。

ABSTRACT

A broad class of convex optimization problems can be formulated as a semidefinite program (SDP), minimization of a convex function over the positive-semidefinite cone subject to some affine constraints. The majority of classical SDP solvers are designed for the deterministic setting where problem data is readily available. In this setting, generalized conditional gradient methods (aka Frank-Wolfe-type methods) provide scalable solutions by leveraging the so-called linear minimization oracle instead of the projection onto the semidefinite cone. Most problems in machine learning and modern engineering applications, however, contain some degree of stochasticity. In this work, we propose the first conditional-gradient-type method for solving stochastic optimization problems under affine constraints. Our method guarantees $\mathcal{O}(k^{-1/3})$ convergence rate in expectation on the objective residual and $\mathcal{O}(k^{-5/12})$ on the feasibility gap.

研究の動機と目的

• アフィン制約を伴う確率的合成凸最適化における条件付き勾配法の欠如を解決する。
• 完全なデータアクセスが不可能な場合に、スケーラブルな解法を提供する。
• 半正定値錐への射影の計算コストのボトル neck を、線形最小化オラクル（lmo）を用いることで克服する。
• 確率的状態とアフィン制約の下で、リプシッツ連続関数およびインジケータ関数型正則化項の両方に対する収束保証を提供する。
• 古典的フランク＝ウルフ法と、機械学習分野における現代の確率的・制約付き最適化問題とのギャップを埋める。

提案手法

• 可解集合$\mathcal{X}$に対する射影ステップを線形最小化オラクル（lmo）に置き換える確率的フランク＝ウルフの変種を提案する。
• アフィン制約が存在する場合にlmoを扱うために、滑らかさ技術を用い、それを取り扱いやすい部分問題に変換する。
• 非滑らか項$g(Ax)$に対して、近似lmoを効率的に計算可能にするproximal型の滑らかさスキームを導入する。
• 収束と精度のバランスを取るために、適応的ステップサイズ$\eta_k = \frac{9}{\delta(k-1)+9}$と滑らかさパラメータ$\beta_k = \frac{\beta_0}{\sqrt{\delta(k-1)+9}}$を採用する。
• ラグランジュの鞍点理論と2次不等式の解法を用いて、制約適合性ギャップと目的関数残差の境界を導出する。
• 確率的勾配推定値$f(x,\omega)$を用いて反復点を更新しつつ、確率的サンプリング下でも収束を維持する。

実験結果

リサーチクエスチョン

• RQ1 アフィン制約を伴う確率的合成凸最適化に適した、条件付き勾配型のアルゴリズムを設計できるか？
• RQ2 確率的状況下で、目的関数残差と制約適合性ギャップの収束速度をどの程度保証できるか？
• RQ3 アフィン制約が存在する場合、lmoを計算することが計算的に困難であるが、それを効率的に計算する方法は何か？
• RQ4 滑らかさ技術を用いることで、非滑らかまたは制約付き項が存在する状況でもlmoを扱いやすくできるか？
• RQ5 計算コストと収束性の観点から、射影ベースの手法と比較して、提案手法はどのように差をつけるか？

主な発見

• $g$が$L_g$-リプシッツ連続である場合、期待される目的関数残差に対して$\mathcal{O}(k^{-1/3})$の収束速度を達成する。
• $g$ が凸集合$\mathcal{K}$のインジケータ関数である場合、目的関数残差で$\mathcal{O}(k^{-1/3})$、制約適合性ギャップで$\mathcal{O}(k^{-5/12})$の収束速度を達成する。
• 半正定値錐への高価な射影を回避し、固有ベクトル計算により効率的に計算可能なlmoに依存することで、計算コストを削減する。
• 滑らかさを用いることで、アフィン制約が存在する場合でもlmoを扱いやすくし、ランダム化された部分空間反復法やパワー法の適用を可能にする。
• 実験結果は理論的収束速度を裏付け、スケーラビリティと実行時間の観点で射影ベースのアルゴリズムに優位性を示す。
• 本手法は、ストリーミングPCA、オンラインクラスタリング、カーネル学習など、各反復で部分的なデータしか入手できない確率的SDPに適用可能である。