[論文レビュー] Katyusha: Accelerated Variance Reduction for Faster SGD.

Zeyuan Allen Zhu|arXiv (Cornell University)|Mar 18, 2016

Stochastic Gradient Optimization Techniques参考文献 25被引用数 12

ひとこと要約

Katyushaは、分散低減と負のモーメンタム項を組み合わせることで、有限和の凸かつ滑らかな関数を最小化するための加速された収束レートを達成する新しい確率的勾配法である。非強凸問題に対しては$1/\sqrt{\varepsilon}$、ランク1の関数に対しては$1/\varepsilon$の最適収束レートを達成し、$O((n + \sqrt{n\kappa})\cdot \log \frac{f(x_0)-f(x^*)}{\varepsilon})$の確率的勾配を用いることで、長年の確率的最適化分野における未解決の問題を解消した。

ABSTRACT

We consider minimizing $f(x)$ that is an average of $n$ convex, smooth functions $f_i(x)$, and provide the first direct stochastic gradient method $\mathtt{Katyusha}$ that has the accelerated convergence rate. It converges to an $\varepsilon$-approximate minimizer using $O((n + \sqrt{n \kappa})\cdot \log\frac{f(x_0)-f(x^*)}{\varepsilon})$ stochastic gradients where $\kappa$ is the condition number. $\mathtt{Katyusha}$ is a primal-only method, supporting proximal updates, non-Euclidean norm smoothness, mini-batch sampling, as well as non-uniform sampling. It also resolves the following open questions in machine learning $\bullet$ If $f(x)$ is not strongly convex (e.g., Lasso, logistic regression), $\mathtt{Katyusha}$ gives the first stochastic method that achieves the optimal $1/\sqrt{\varepsilon}$ rate. $\bullet$ If $f(x)$ is strongly convex and each $f_i(x)$ is rank-one (e.g., SVM), $\mathtt{Katyusha}$ gives the first stochastic method that achieves the optimal $1/\sqrt{\varepsilon}$ rate. $\bullet$ If $f(x)$ is not strongly convex and each $f_i(x)$ is rank-one (e.g., L1SVM), $\mathtt{Katyusha}$ gives the first stochastic method that achieves the optimal $1/\varepsilon$ rate. The main ingredient in $\mathtt{Katyusha}$ is a novel negative on top of momentum that can be elegantly coupled with the existing variance reduction trick for stochastic gradient descent. As a result, since variance reduction has been successfully applied to fast growing list of practical problems, our paper implies that one had better hurry up and give $\mathtt{Katyusha}$ a hug in each of them, in hoping for a faster running time also in practice.

研究の動機と目的

• 機械学習分野における非強凸およびランク1問題に対する加速された確率的勾配法の欠如を解決すること。
• lasso、ロジスティック回帰、SVMなどの設定における確率的勾配法の最適収束レートに関する未解決の問題を解消すること。
• proximal更新、非ユークリッドノルム、ミニバッチ、非一様サンプリングをサポートするプライマルのみの手法を設計すること。
• これらの問題クラスにおいて、確率的設定で初めて$1/\sqrt{\varepsilon}$および$1/\varepsilon$の最適収束レートを達成すること。
• 新しいモーメンタム-分散低減の結合により、既存のSGDの変種に対する実用的かつ理論的に最適な代替手法を提供すること。

提案手法

• Katyushaは、確率的勾配降下法における分散低減技術と巧みに組み合わされた、新しい負のモーメンタム項を導入する。
• この手法はプライマルのみのフレームワークを採用しており、proximal更新および非ユークリッドノルムの滑らかさをサポートできる。
• モーメンタムと分散低減のバランスを取る二段階スケールの更新ルールを採用し、収束の安定性を向上させる。
• ミニバッチサンプリングおよび非一様サンプリング戦略をサポートしており、実用的な効率性を向上させる。
• コアなイノベーションは、負のモーメンタムと分散低減の結合であり、収束の安定化と加速を実現する。
• この手法は、$O((n + \sqrt{n\kappa})\cdot \log \frac{f(x_0)-f(x^*)}{\varepsilon})$の確率的勾配評価で収束を達成する。

実験結果

リサーチクエスチョン

• RQ1 lasso やロジスティック回帰のような非強凸問題に対して、確率的1次最適化法が最適な$1/\sqrt{\varepsilon}$収束レートを達成できるか。
• RQ2 SVM のように各$f_i(x)$がランク1である場合に、最適な$1/\sqrt{\varepsilon}$レートを達成できるような確率的手法を設計できるか。
• RQ3 非強凸で各成分$f_i(x)$がランク1の問題（例：L1-SVM）に対して、確率的手法が最適な$1/\varepsilon$レートを達成できるか。
• RQ4 負のモーメンタムを分散低減と効果的に統合することで、確率的最適化における収束を加速できるか。
• RQ5 提案手法は、多様な機械学習問題において、理論的および実用的両面で既存の確率的勾配法を上回るか。

主な発見

• Katyushaは、lasso やロジスティック回帰のような非強凸問題に対して、初めて最適な$1/\sqrt{\varepsilon}$収束レートを達成した。
• SVM のようなランク1関数に対して、Katyushaは確率的設定で初めて最適な$1/\sqrt{\varepsilon}$レートを達成した。
• 関数$f(x)$が非強凸で各$f_i(x)$がランク1である場合、Katyushaは最適な$1/\varepsilon$収束レートを達成した。
• この手法は、$O((n + \sqrt{n\kappa})\cdot \log \frac{f(x_0)-f(x^*)}{\varepsilon})$の確率的勾配評価を必要とし、理論的下界と一致する。
• 負のモーメンタムと分散低減の統合により、標準的なSGDおよび既存の加速手法よりも高速な収束が実現された。
• Katyushaは、proximal更新、非ユークリッドノルム、ミニバッチ、非一様サンプリングをサポートする最初のプライマルのみの手法であり、最適なレートを維持している。