[論文レビュー] Sparse Learning with Semi-Proximal-Based Strictly Contractive Peaceman-Rachford Splitting Method

Sen Na, Cho‐Jui Hsieh|arXiv (Cornell University)|Dec 30, 2016

Sparse and Compressive Sensing Techniques参考文献 12被引用数 3

ひとこと要約

本稿では、大規模なスパース学習問題に対して、半確率的変種の半プロキシマルベースの厳密収縮ペイジマン＝ラッハフォード分割法（Stochastic SPB-SCPRSM）を提案する。1回の反復で1つまたは少数のサンプルのみを用い、2つの緩和係数を有する半プロキシマル項を組み込むことで、凸問題では確率的意味で$O(1/\sqrt{t})$、強く凸問題では$O(\log(t)/t)$の収束速度を達成し、実データおよび合成データ上で既存の確率的ADMMおよびバッチ法を上回る性能を発揮する。

ABSTRACT

Minimizing sum of two functions under a linear constraint is what we called splitting problem. This convex optimization has wide applications in machine learning problems, such as Lasso, Group Lasso and Sparse logistic regression. A recent paper by Gu et al (2015) developed a Semi-Proximal-Based Strictly Contractive Peaceman-Rachford Splitting Method (SPB-SPRSM), which is an extension of Strictly Contractive Peaceman-Rachford Splitting Method (SPRSM) proposed by He et al (2014). By introducing semi-proximal terms and using two different relaxation factors, SPB-SPRSM showed a more flexiable applicability comparing to its origin SPRSM and widely-used Alternating Direction Method of Multipliers (ADMM) algorithm, although all of them have $O(1/t)$ convergence rate. In this paper, we develop a stochastic version of SPB-SPRSM algorithm, where only a subset of samples (even one sample) are used at each iteration. The resulting algorithm, Stochastic SPB-SPRSM, is more flexiable than Stochastic ADMM and other ADMM-based algorithms on both simulations and real datasets. Moreover, we prove $O(1/\sqrt{t})$ convergence rate in ergodic sense, which is the same with Stochastic ADMM algorithm under the same assumption. But as shown in He et al (2014) that SPRSM based algorithms will always converge faster than ADMM in apllication, our proposed algorithm will also preserve this advantage.

研究の動機と目的

• 大規模な機械学習における膨大なデータセットを扱う際の、ADMM や SPB-SCPRSM といったバッチ分割法のスケーラビリティの限界を解決すること。
• 1回の反復で少数のサンプルのみを用いることで、計算効率を向上させるSPB-SCPRSMの確率的変種を開発すること。
• 半プロキシマル項と2つの異なる緩和係数を用いることで、収束保証を維持しつつ柔軟性を高めること。
• 一般凸および強く凸な設定下での確率的アルゴリズムの理論的収束速度を確立すること。
• 実データおよび合成データ上で、既存の確率的ADMMおよびバッチ法と比較して優れた収束速度を示すことを実証的に検証すること。

提案手法

• 各反復で1つまたは少数のサンプルを用いてラグランジュ関数の増加項を近似することで、SPB-SCPRSMの確率的バージョンを提案する。
• ${\boldsymbol{x}}$および${\boldsymbol{y}}$の部分問題に2つの半プロキシマル項を導入し、数値的安定性と収束性を向上させる。
• $\alpha \in [0,1)$および$\gamma \in \left(0, \frac{1-\alpha + \sqrt{(1+\alpha)^2 + 4(1-\alpha^2)}}{2}\right)$という2つの異なる緩和係数を用い、反復列の厳密収縮性を保証する。
• ラグランジュ関数の一次近似を用いて、$\boldsymbol{x}$、$\boldsymbol{y}$、および双対変数$\boldsymbol{\lambda}$の更新則を導出する。
• 線形制約付きの分離可能な凸最適化問題に再定式化することで、Lasso、グループLasso、スパースロジスティック回帰に本アルゴリズムを適用する。
• ${\boldsymbol{y}}$-更新にはソフトスレッショーディングを、ロジスティック回帰の場合は${\boldsymbol{x}}$-更新に閉形式の更新を適用する。

実験結果

リサーチクエスチョン

• RQ1 SPB-SCPRSMの確率的変種を、収束性を維持しつつ大規模データセットにスケーラブルに拡張できるように開発できるか？
• RQ2 どの緩和係数と半プロキシマル項の選択が、確率的設定下での厳密収縮性と収束性を保証するか？
• RQ3 提案された確率的SPB-SCPRSMの収束速度は、凸および強く凸な設定下で、確率的ADMMおよびバッチ法と比較してどのように異なるか？
• RQ4 本手法は、実世界のスパース学習問題において、既存の確率的アルゴリズムよりも収束速度が速いか？
• RQ5 損失関数のプロキシマル写像が計算的に困難または不可能な場合でも、本手法は有効に機能するか？

主な発見

• 提案されたStochastic SPB-SCPRSMは、確率的ADMMと同一の仮定のもとで、一般凸関数において確率的意味で$O(1/\sqrt{t})$の収束速度を達成する。
• 強く凸問題では収束速度が$O(\log(t)/t)$に向上し、バッチ法の標準的な$O(1/t)$の速度よりも速い。
• 実データ上では、確率的ADMMおよびバッチADMMよりも収束が速く、特に解がスパースな場合（例：$\mu=10$）に顕著に優位である。
• E2006データセットでは、Sto-SPB-SPRSMがSADMMおよびOpSADMMを上回り、特にスパースな状態下で収束速度の優位性が顕著に現れる。
• スパースロジスティック回帰の事例で示されるように、滑らかな損失項のプロキシマル写像が計算しにくい場合でも、本手法は有効である。
• 緩和係数$\alpha$および$\gamma$の理論的収束境界は、バッチ版SPB-SCPRSMと同一であり、確率的状態下でも安定性と収束性を保証する。