[論文レビュー] Nonconvex Sparse Learning via Stochastic Optimization with Progressive Variance Reduction

Xingguo Li, Raman Arora+3 more|arXiv (Cornell University)|May 9, 2016

Sparse and Compressive Sensing Techniques参考文献 38被引用数 32

ひとこと要約

本稿では、基数制約付き非凸スパース学習のための確率的バリアンス低減最適化手法であるSVRG-HTを提案する。プログレッシブなバリアンス低減とイテレーティブハードスレッディングを組み合わせることで、高次元設定において線形収束性と最適な推定精度を達成し、標準的な確率的勾配法に比べて収束速度と推定品質の両面で優れており、計算効率も維持する。

ABSTRACT

We propose a stochastic variance reduced optimization algorithm for solving sparse learning problems with cardinality constraints. Sufficient conditions are provided, under which the proposed algorithm enjoys strong linear convergence guarantees and optimal estimation accuracy in high dimensions. We further extend the proposed algorithm to an asynchronous parallel variant with a near linear speedup. Numerical experiments demonstrate the efficiency of our algorithm in terms of both parameter estimation and computational performance.

研究の動機と目的

• 非凸スパース学習における確率的勾配法の限界、特に勾配推定の高いばらつきによる推定精度の低さを是正すること。
• 大規模なスパース学習問題における基数制約を満たしつつ、強力な収束保証と推定精度を維持できるスケーラブルな最適化アルゴリズムの開発。
• ℓ1正則化のような凸緩和手法にとどまらず、非凸的でスパースなM推定量へのバリアンス低減技術の適用範囲を拡張すること。
• 非同期並列設定において収束性と推定性能を保ちながら、ほぼ線形のスケールアップを達成すること。

提案手法

• 外ループでフル勾配計算、内ループでバリアンス低減された確率的勾配を使用する二重ループの確率的最適化アルゴリズムであるSVRG-HTを提案。
• 各確率的勾配更新後にイテレーティブハードスレッディング（IHT）を統合し、スパarsityを強制するとともに、kスパース解構造を維持。
• SVRGにインspiredされたバリアンス低減メカニズムを採用。確率的勾配は、定期的に計算されたフル勾配のスナップショットで補正される。
• 制限付き強い凸性条件と、緩められた条件数（最大100まで）の制限付き等長性性質（RIP）を用いて収束を保証。
• 勾配のばらつき、ハードスレッディング、目的関数の非凸構造の相互作用を考慮した、新規の解析フレームワークを用いて収束バウンズを導出。
• 非同期並列版にアルゴリズムを拡張し、ほぼ線形のスケールアップと収束性に関する理論的保証を提供。

実験結果

リサーチクエスチョン

• RQ1 バリアンス低減確率的最適化は、基数制約付き非凸スパース学習問題において線形収束を達成できるか？
• RQ2 提案手法は、ℓ1正則化が推定バイアスを生じさせる高次元設定でも最適な推定精度を維持できるか？
• RQ3 収束性と推定性能を保ちながら、大規模データセットへの効率的スケーリングが可能か？
• RQ4 緩められたRIP条件下で、提案手法の理論的収束速度と推定誤差バウンズは何か？
• RQ5 非同期並列版のアルゴリズムは、スループットと収束性の観点でどの程度の性能を示すか？

主な発見

• 従来の手法がRIPパラメータ1/7を要するのに対し、本手法は緩められた制限付き条件数仮定（最大100まで）のもとで、最適解の近傍への線形収束を達成する。
• 最適な推定精度を達成し、パラメータ推定誤差が ∥θ̂(r) − θ∗∥2 ≤ c3σ√(k∗log d / nb) で有界であることが示され、ミニマックス最適レートと一致する。
• 非同期並列設定においてほぼ線形のスケールアップを達成し、収束性と推定性能を維持する。
• 理論的解析により、収束速度は条件数依存係数に支配され、制限付き強い凸性条件のもとで収束が保証される。
• 数値実験により、標準的な確率的勾配法およびフル勾配法に比べ、本手法の計算効率と推定精度の優位性が確認された。
• 特に相関のある設計を有する高次元設定では、ℓ1正則化手法に比べて推定バイアスが顕著に低減された。