[論文レビュー] Linear convergence of SDCA in statistical estimation

Chao Qu, Huan Xu|arXiv (Cornell University)|Jan 26, 2017

Sparse and Compressive Sensing Techniques参考文献 44被引用数 5

ひとこと要約

本稿は、非強い凸統計的推定問題におけるStochastic Dual Coordinate Ascent (SDCA)の線形収束を、制限された強い凸性（RSC）条件のもとで確立する。一般化された双対フリーSDCAアルゴリズムを導入し、非滑らか$β$-ノルムを含む一般の正則化を扱えるようにし、Lasso、グループLasso、$Ø_1$正則化を施したロジスティック回帰、およびSCAD正則化線形回帰において線形収束を証明する。

ABSTRACT

In this paper, we consider stochastic dual coordinate (SDCA) {\em without} strongly convex assumption or convex assumption. We show that SDCA converges linearly under mild conditions termed restricted strong convexity. This covers a wide array of popular statistical models including Lasso, group Lasso, and logistic regression with $\ell_1$ regularization, corrected Lasso and linear regression with SCAD regularizer. This significantly improves previous convergence results on SDCA for problems that are not strongly convex. As a by product, we derive a dual free form of SDCA that can handle general regularization term, which is of interest by itself.

研究の動機と目的

• Lasso や $Ø_1$ 正則化を施したロジスティック回帰などの非強い凸統計的モデルにおけるSDCAの線形収束保証の欠如に対処する。
• 非凸M推定量および非滑らか正則化子（例：$Ø_1$ および $Ø_{1,2}$ ノルム）を扱えるようにSDCAを拡張する。
• 明示的な双対定式化を避ける双対フリーSDCAフレームワークを構築し、非滑らかおよび非凸目的関数の解析を可能にする。
• 制限された強い凸性（RSC）条件のもとで線形収束を確立する。この条件は、高次元モデルの広いクラスで成立する。
• 最小限の仮定のもとで収束速度を導出し、SDCAがスパース推定問題において実用的に成功する理由を理論的に裏付ける。

提案手法

• 双対変数 $a_i^t$ と双対変数 $v^t$ を維持する一般化された双対フリーSDCAアルゴリズム（アルゴリズム1）を提案し、明示的な双対定式化を回避する。
• 関数 $f_i$ の滑らかさパラメータ $L_i$ を用いた非一様サンプリング戦略を採用し、確率は $q_i = \frac{L_i + \bar{L}}{2n\bar{L}}$ で与えられる。
• 双対変数の更新は $a_i^t = a_i^{t-1} - \eta_i \lambda n (\nabla f_i(w^{t-1}) + a_i^{t-1})$ および $v^t = v^{t-1} - \eta_i (\nabla f_i(w^{t-1}) + a_i^{t-1})$ で行う。
• プロキシマルステップ $w^t = \arg\max_{w \in \Omega} \langle w, v^t \rangle - g(w)$ を実行し、一般正則化 $g(w)$（非滑らかノルムを含む）を扱えるようにする。
• RSC条件を用いて収束を分析し、真のモデルサポートが定義する可能性領域における十分な湾曲性を保証する。
• RSCのもとで双対ギャップが幾何的に減少することを示し、全体の目的関数が強く凸でない場合でも線形収束を確立する。

実験結果

リサーチクエスチョン

• RQ1 Lasso やグループLasso などの非強い凸統計的モデルにおいて、SDCAは線形収束を達成できるか？
• RQ2 非滑らか正則化項（例：$\ell_1$ および $\ell_{1,2}$ ノルム）を扱える双対フリーSDCA定式化は存在するか？
• RQ3 目的関数が強く凸でない場合、SDCAが線形収束する条件は何か？
• RQ4 制限された強い凸性（RSC）条件は、高次元スパース推定においてどのように線形収束を可能にするか？
• RQ5 非凸M推定量に対して、SDCAの理論的収束速度は、部分線形速度を超えて向上できるか？

主な発見

• SDCAは、Lasso、グループLasso、$\ell_1$ 正則化を施したロジスティック回帰、およびSCAD正則化線形回帰において、制限された強い凸性（RSC）条件のもとで線形収束する。
• 提案された双対フリーSDCAアルゴリズムにより、$\ell_1$ や $\ell_{1,2}$ ノルムなどの非滑らか正則化を伴う問題に対しても線形収束が達成可能であり、従来の双対ベースSDCAでは失敗する場合がある。
• Lassoの場合、必要な正則化パラメータ $\lambda$ は、高確率で $\lambda \geq 6\sigma\sqrt{\frac{\log p}{n}}$ を満たすことが保証され、RSC条件が成立する。
• グループLassoの場合、条件 $\lambda \geq 4\sigma\left(\sqrt{\frac{m}{n}} + \sqrt{\frac{\log N_{\mathcal{G}}}{n}}\right)$ がRSC条件を高確率で満たす。
• RSC条件における許容誤差 $\delta$ は $c_2 \nu(\Sigma) \frac{s \log p}{n} \|\hat{w} - w^*\|_2^2$ のようにスケーリングされ、モデルの複雑さとサンプルサイズに依存する。
• 解析により、全体の目的関数が強く凸でない場合でも、活性部分空間上でRSC条件が成立する限り、SDCAは線形収束を達成することが確認された。