[論文レビュー] SAGA and Restricted Strong Convexity

Chao Qu, Yan Li+1 more|arXiv (Cornell University)|Feb 19, 2017

Sparse and Compressive Sensing Techniques参考文献 28被引用数 3

ひとこと要約

本稿は、Lasso やグループ Lasso、ℓ₁ 正則化付きロジスティック回帰、補正 Lasso、SCAD 正則化回帰などの非強い凸および非凸統計的問題に対して、制限された強い凸性（RSC）条件の下で SAGA アルゴリズムの線形収束を確立する。SAGA は統計的推定精度まで線形収束することを証明し、強い凸性の設定を超えて顕著に適用範囲を拡張する。

ABSTRACT

SAGA is a fast incremental gradient method on the finite sum problem and its effectiveness has been tested on a vast of applications. In this paper, we analyze SAGA on a class of non-strongly convex and non-convex statistical problem such as Lasso, group Lasso, Logistic regression with $\ell_1$ regularization, linear regression with SCAD regularization and Correct Lasso. We prove that SAGA enjoys the linear convergence rate up to the statistical estimation accuracy, under the assumption of restricted strong convexity (RSC). It significantly extends the applicability of SAGA in convex and non-convex optimization.

研究の動機と目的

• 強い凸性の問題に限らない非凸および非強い凸統計的モデルへの SAGA の収束解析を拡張すること。
• 制限された強い凸性（RSC）条件の下で、SAGA が統計的推定誤差まで線形収束することを確立すること。
• Lasso、グループ Lasso、ℓ₁ 正則化付きロジスティック回帰、補正 Lasso、SCAD 正則化回帰といった主要な機械学習問題における SAGA の性能を分析すること。
• SAGA が高次元および非凸設定で経験的に成功する背後にある理論的裏付けを提供すること。

提案手法

• 強い凸性を緩和し、関心のある部分空間での曲率のみを要請する制限された強い凸性（RSC）条件の下での SAGA の理論的分析。
• 完全な勾配計算を回避しつつ収束性を維持するため、不偏勾配推定器を用いたプロキシマル SAGA 更新則の使用。
• 真のスパースパラメータ方向における目的関数の曲率を制御するための RSC の適用により、統計的精度まで線形収束を保証する。
• ガウスノイズの尾部確率を用いた勾配の双対ノルムのバインドにより、正則化パラメータ λ が必要な条件を満たすことを保証する。
• 統計誤差に比例する許容誤差 δ の導出により、真のパラメータの近傍への収束を示す。
• 部分空間適合定数およびノルム適合性を活用し、RSC 条件下での収束速度を定量化する。

実験結果

リサーチクエスチョン

• RQ1 Lasso やグループ Lasso のような非強い凸問題において、RSC 条件の下で SAGA は線形収束を達成するか？
• RQ2 SCAD や補正 Lasso 正則化のような非凸設定でも、SAGA は線形収束を維持できるか？
• RQ3 目的関数が強い凸でも凸でもないが、RSC を満たす場合、SAGA の収束速度はどのようになるか？
• RQ4 高次元モデルにおいて、正則化パラメータ λ はノイズレベルと次元数の間にどのように関係するか？
• RQ5 SAGA が線形収束する統計的精度の閾値は何か？

主な発見

• 制限された強い凸性（RSC）条件の下で、非凸および非強い凸問題に対しても SAGA は統計的推定誤差まで線形収束する。
• Lasso の場合、高次元ガウスノイズのもとで、許容誤差 δ は c₂ν(Σ)(r log p)/n × ||Δ*||₂² のオーダーに比例し、高確率で成立する。
• グループ Lasso の場合、許容誤差 δ はグループ構造に依存し、c₂σ₂(Σ)s_G(√(m/n) + √(3 log N_G / n))² × ||Δ*||₂² のオーダーに比例する。
• 補正 Lasso の場合、最適解における勾配ノルムは高確率で c₁φ√(log p / n) で抑えられ、ここで φ は Σ と θ* に依存する。
• i.i.d. のサブガウスノイズ設計行列に対して、RSC 条件は高確率で成立し、高次元設定における収束保証を可能にする。
• 解析により、SAGA の収束はモデルの不適合やノイズに対して頑健であり、統計的限界近くで線形レートを達成することが確認された。