[論文レビュー] Variance-Reduced Proximal Stochastic Gradient Descent for Non-convex Composite optimization

Xiyu Yu, Dacheng Tao|arXiv (Cornell University)|Jun 2, 2016

Stochastic Gradient Optimization Techniques参考文献 10被引用数 3

ひとこと要約

本稿では、滑らかで非凸な関数と単純な近位写像を持つ一般の正則化子の和として表される非凸複合最適化問題に対して、バリアンス低減型近位確率的勾配法—prox-SVRG および prox-SAGA—を提案する。定数ステップサイズを用いる場合、両手法とも $O(1/ε)$ 回の反復で停留在点に収束し、最新の RSAG 法と同等の性能を示し、標準的な確率的勾配降下法を上回る。

ABSTRACT

Here we study non-convex composite optimization: first, a finite-sum of smooth but non-convex functions, and second, a general function that admits a simple proximal mapping. Most research on stochastic methods for composite optimization assumes convexity or strong convexity of each function. In this paper, we extend this problem into the non-convex setting using variance reduction techniques, such as prox-SVRG and prox-SAGA. We prove that, with a constant step size, both prox-SVRG and prox-SAGA are suitable for non-convex composite optimization, and help the problem converge to a stationary point within $O(1/ε)$ iterations. That is similar to the convergence rate seen with the state-of-the-art RSAG method and faster than stochastic gradient descent. Our analysis is also extended into the min-batch setting, which linearly accelerates the convergence. To the best of our knowledge, this is the first analysis of convergence rate of variance-reduced proximal stochastic gradient for non-convex composite optimization.

研究の動機と目的

• バリアンス低減型近位確率的勾配法を非凸複合最適化問題に拡張すること。
• 非凸性の仮定の下で、prox-SVRG および prox-SAGA の収束速度を分析すること。
• 定数ステップサイズを用いる場合、これらの手法が $O(1/\u03b5)$ 回の反復で停留在点に収束することを確立すること。
• 線形収束加速を達成するためのミニバッチ設定への分析の拡張。
• 非凸複合設定におけるバリアンス低減型近位確率的勾配法の初の理論的収束速度保証を提供すること。

提案手法

• 非凸な有限和成分と単純な近位写像を持つ一般正則化子を扱えるように、prox-SVRG および prox-SAGA アルゴリズムを適応すること。
• バリアンス低減技術を用いて勾配推定値を安定化させ、非凸設定における収束を改善すること。
• 定数ステップサイズを用いて、$O(1/\u03b5)$ 回の反復内で停留在点に収束することを保証すること。
• ミニバッチ設定にフレームワークを拡張し、収束の線形加速を達成すること。
• 既存の近位勾配フレームワークを活用し、非凸目的関数向けにバリアンス低減機構を統合すること。
• 反復ごとの目的関数値の期待減少を分析することで、停留在点への収束を証明すること。

実験結果

リサーチクエスチョン

• RQ1 prox-SVRG および prox-SAGA は非凸複合最適化問題に効果的に拡張可能か？
• RQ2 バリアンス低減型近位確率的勾配法の非凸設定における収束速度はいかほどか？
• RQ3 定数ステップサイズを用いても、非凸複合問題において停留在点に収束するか？
• RQ4 ミニバッチ版は単一サンプル版と比較して、収束速度をどのように向上させるか？
• RQ5 これらの手法の収束速度は、非凸設定において最新の RSAG 法と同等か？

主な発見

• 提案手法である prox-SVRG および prox-SAGA は、定数ステップサイズを用いる非凸複合最適化において、$O(1/\u03b5)$ 回の反復で停留在点に収束する。
• 収束速度は最新の RSAG 法と同等であり、標準的な確率的勾配降下法を上回る。
• ミニバッチ版は収束を線形的に加速し、スケーラビリティと効率性を向上させる。
• 分析により、非凸複合設定におけるバリアンス低減型近位確率的勾配法の初の理論的収束速度保証が確立された。
• 正則化子が単純な近位写像を備える限り、個々の成分が非凸であっても、これらの手法は有効である。