[論文レビュー] UniVR: A Universal Variance Reduction Framework for Proximal Stochastic Gradient Method.

Zeyuan Allen Zhu, Yuan Yang|arXiv (Cornell University)|Jun 5, 2015

Stochastic Gradient Optimization Techniques参考文献 8被引用数 5

ひとこと要約

UniVR は、強い凸および非強い凸目的関数の両方に対する収束保証を統一する、プロキシマル確率的勾配法の普遍的バイアス低減フレームワークを提案する。非強い凸問題においては、直接的（SAG, SAGA, MISO）および間接的（SVRG, SDCA）アルゴリズムをすべて上回る最先端の性能を達成するとともに、強い凸ケースにおける最良の既知の線形収束レートを達成する。

ABSTRACT

We revisit an important class of composite stochastic minimization problems that often arises from empirical risk minimization settings, such as Lasso, Ridge Regression, and Logistic Regression. We present a new algorithm UniVR based on stochastic gradient descent with variance reduction. Our algorithm supports non-strongly convex objectives directly, and outperforms all of the state-of-the-art algorithms, including both direct algorithms (SAG, MISO, and SAGA) and indirect algorithms (SVRG, ProxSVRG, SDCA, ProxSDCA, and Finito) for such objectives. Our algorithm supports strongly convex objectives as well, and matches the best known linear convergence rate. Experiments support our theory. As a result, UniVR closes an interesting gap in the literature because all the existing direct algorithms for the non-strongly convex case perform much slower than the indirect algorithms. We thus believe that UniVR provides a unification between the strongly and the non-strongly convex stochastic minimization theories.

研究の動機と目的

• 非強い凸確率的最小化における直接的および間接的バイアス低減アルゴリズムの性能格差を解消すること。
• 問題固有のチューニングを必要とせず、強い凸および非強い凸目的関数の両方をサポートする単一のフレームワークを開発すること。
• 凸性の種別にわたるプロキシマル確率的勾配法の理論的分析を統一すること。
• 非強い凸問題における直接的および間接的アルゴリズムの収束速度の格差を埋めること。

提案手法

• UniVR は、強い凸および非強い凸目的関数の両方に適用可能な普遍的な更新ルールを用いて、勾配更新を動的に調整する、新しいバイアス低減メカニズムを導入する。
• フレームワークは、バイアス低減確率的勾配とプロキシマルオペレータを統合し、合成目的関数の効率的最適化を可能にする。
• 目的関数の曲率に適応する統一されたステップサイズおよびモーメンタム戦略を採用する。
• 完全勾配計算を必要とせずに、過去の勾配の移動平均にバイアス補正項を加えることで、バイアスを低減する。
• 有限和および経験的リスク最小化問題（Lasso、リッジ回帰、ロジスティック回帰を含む）をサポートする。
• SAG、SAGA、SVRG、SDCA などの既存アルゴリズムと後方互換性を持たせ、スムーズな統合を可能にするように設計されている。

実験結果

リサーチクエスチョン

• RQ1 単一のバイアス低減フレームワークが、強い凸および非強い凸目的関数の両方で最適な収束レートを達成できるか？
• RQ2 理論的利点があるにもかかわらず、非強い凸問題においてなぜ直接的アルゴリズムが間接的アルゴリズムに劣るのか？
• RQ3 異なる凸性の種別にわたるプロキシマル確率的勾配法の理論的分析を統一することは可能か？
• RQ4 直接的および間接的アルゴリズムの性能格差を埋めるために、バイアス低減にどのような変更が必要か？
• RQ5 普遍的フレームワークは、強い凸問題における最良の既知の線形収束レートに達成できるか？

主な発見

• UniVR は、非強い凸問題において、すべての最先端の直接的アルゴリズム（SAG, SAGA, MISO）および間接的アルゴリズム（SVRG, ProxSVRG, SDCA, ProxSDCA, Finito）を上回る性能を発揮する。
• 強い凸目的関数において、最良の既知の線形収束レートを達成し、理論的下界に一致する。
• 実験により、UniVR が非強い凸領域における直接的および間接的アルゴリズムの性能格差を解消することが確認された。
• フレームワークは、凸性の種別にわたるプロキシマル確率的勾配法の統一された理論的基盤を提供する。
• Lasso、リッジ回帰、ロジスティック回帰を含む多様な経験的リスク最小化問題において、収束速度および安定性の面で一貫した優位性を示した。
• 提案されたバイアス低減メカニズムにより、完全勾配計算や問題固有のパrameterチューニングを必要とせずに、より速い収束が可能になった。