[論文レビュー] Fast Stochastic Methods for Nonsmooth Nonconvex Optimization

Sashank J. Reddi, Suvrit Sra+2 more|arXiv (Cornell University)|May 23, 2016

Stochastic Gradient Optimization Techniques参考文献 20被引用数 37

ひとこと要約

本稿では、定数ミニバッチを用いて停留点への収束を保証する、非滑らかで非凸な有限和問題を対象とした新しい確率的アルゴリズムであるProxSVRGおよびProxSAGAを提案する。これらの手法は、非負のPCAタスクにおいて、ProxSGDおよび確率的勾配降下法よりも収束速度と実用的性能で優れている。

ABSTRACT

We analyze stochastic algorithms for optimizing nonconvex, nonsmooth finite-sum problems, where the nonconvex part is smooth and the nonsmooth part is convex. Surprisingly, unlike the smooth case, our knowledge of this fundamental problem is very limited. For example, it is not known whether the proximal stochastic gradient method with constant minibatch converges to a stationary point. To tackle this issue, we develop fast stochastic algorithms that provably converge to a stationary point for constant minibatches. Furthermore, using a variant of these algorithms, we show provably faster convergence than batch proximal gradient descent. Finally, we prove global linear convergence rate for an interesting subclass of nonsmooth nonconvex functions, that subsumes several recent works. This paper builds upon our recent series of papers on fast stochastic methods for smooth nonconvex optimization [22, 23], with a novel analysis for nonconvex and nonsmooth functions.

研究の動機と目的

• 非滑らかで非凸な有限和最適化における確率的手法の理解の空白を埋める。
• 標準的なProxSGDでは未解決のままだった、定数ミニバッチサイズを用いた確率的近接アルゴリズムの収束を証明する。
• バッチ近接勾配降下法よりも高速な収束を達成しつつ、定数ミニバッチサイズを維持する手法を開発する。
• 非滑らかで非凸関数の意味のある部分集合に対して、グローバル線形収束を確立する。
• 非負のPCAタスクにおいて、分散低減手法がProxSGDを上回る実証的優位性を示す。

提案手法

• SVRGおよびSAGAの近接版として、非凸的・非滑らか問題に適応したProxSVRGおよびProxSAGAを提案する。
• ProxSGDとは異なり、確率的勾配更新において定数ミニバッチサイズを採用する。
• 計算複雑度をモデル化するために、インクリメンタル1次オракル（IFO）および近接オラクル（PO）を活用する。
• 勾配の分散低減のためのコントロールバリアント機構を導入し、定数ミニバッチを用いた安定な収束を可能にする。
• ProxSVRGでは、定期的な間隔でエポックベースの全勾配計算を実施し、低分散を維持する。
• ProxSVRGおよびProxSAGAでは固定ステップサイズを採用するが、ProxSGDとは異なり、ステップサイズを減少させる必要がない。

実験結果

リサーチクエスチョン

• RQ1 非滑らかで非凸な問題において、定数ミニバッチサイズを用いた近接確率的勾配法は、停留点に収束可能か？
• RQ2 分散低減近接法（例：ProxSVRGおよびProxSAGA）は、ProxSGDおよびバッチ近接勾配降下法よりも高速な収束を達成可能か？
• RQ3 非滑らかで非凸関数の意味のある部分集合に対して、グローバル線形収束は可能か？
• RQ4 収束保証を失うことなく、実用的に定数ミニバッチサイズを効果的に使用可能か？
• RQ5 実世界の非凸的・非滑らか機械学習問題において、ProxSVRGおよびProxSAGAは実証的にProxSGDを上回るか？

主な発見

• ProxSVRGおよびProxSAGAは、ϵ-最適性に到達するためのIFO複雑度とPO複雑度をそれぞれO(1/ϵ)に抑え、ProxSGDと同等の性能を達成するが、定数ミニバッチを用いる。
• 提案手法は定数ミニバッチサイズのもとで停留点に収束することを保証し、非滑らかで非凸最適化における重要な未解決問題を解決する。
• ProxSVRGおよびProxSAGAは、バッチ近接勾配降下法よりも高速な収束を達成し、反復複雑度において理論的改善を示す。
• NN-PCAにおける実験結果から、ProxSVRGおよびProxSAGAは定数ミニバッチサイズを用いて、ProxSGDよりも目的関数値の低減が顕著に優れている。
• ステップサイズの調整がProxSGDよりも単純で、固定ステップサイズが優れた性能を発揮する。
• 複数のデータセットにおいて、ProxSVRGとProxSAGAの間で顕著な性能差は観察されず、分散低減アプローチの堅牢性が示された。