[論文レビュー] Katyusha: The First Truly Accelerated Stochastic Gradient Method

Zeyuan Allen-Zhu|arXiv (Cornell University)|Mar 18, 2016

Stochastic Gradient Optimization Techniques参考文献 18被引用数 4

ひとこと要約

Katyushaは、多様な機械学習目的関数において、最初の確率的1階最適化手法として、加速収束レートを達成した。モーメンタムと分散低減を組み合わせ、負のモーメンタムを活用することで、最適な収束レートを達成する—弱い凸性と滑らかさがある問題では$1/\sqrt{\varepsilon}$、非滑らかケースでは$1/\varepsilon$であり、$O((n + \sqrt{n\kappa})\log(1/\varepsilon))$回の反復を用いる。

ABSTRACT

We introduce $\mathtt{Katyusha}$, the first direct stochastic gradient method that has an accelerated convergence rate. Given an objective that is an average of $n$ convex and smooth functions, $\mathtt{Katyusha}$ converges to an $\varepsilon$-approximate minimizer using $O((n + \sqrt{n \kappa})\cdot \log\frac{f(x_0)-f(x^*)}{\varepsilon})$ stochastic iterations, where $\kappa$ is the condition number. $\mathtt{Katyusha}$ also resolves the following open questions in optimization and machine learning $\bullet$ For weakly convex and smooth objectives (e.g., Lasso, Logistic Regression), $\mathtt{Katyusha}$ is the first stochastic method that achieves the optimal $1/\sqrt{\varepsilon}$ rate. $\bullet$ For strongly-convex but non-smooth ERM objectives (e.g., SVM), $\mathtt{Katyusha}$ gives the first stochastic method that achieves the optimal $1/\sqrt{\varepsilon}$ rate. $\bullet$ For weakly convex and non-smooth ERM objectives (e.g., L1SVM), $\mathtt{Katyusha}$ gives the first stochastic method that achieves the optimal $1/\varepsilon$ rate.

研究の動機と目的

• 一般の凸的および非滑らかな目的関数に対する確率的1階最適化手法における加速収束を達成するという長年の未解決問題を解決すること。
• Lasso やロジスティック回帰のような弱い凸性と滑らかさを持つ目的関数に対して、最適な$1/\sqrt{\varepsilon}$収束レートを達成する確率的最適化アルゴリズムを設計すること。
• SVM などの例で示される、強い凸性だが非滑らかな経験的リスク最小化に対して、最初の最適な$1/\sqrt{\varepsilon}$レートを達成する確率的手法を提供すること。
• L1-SVM などの例で示される、弱い凸性と非滑らか性を持つ問題に対して、最初の最適な$1/\varepsilon$レートを達成する確率的手法を確立すること。
• 負のモーメンタムを活用することで、単一のフレームワーク内で既存の分散低減技術を統合・加速する。

提案手法

• Katyushaは、収束を加速するために正のモーメンタム項と負のモーメンタム項を組み合わせた、新しいモーメンタムに基づく更新ルールを導入する。
• SVRG などの手法にインspiredされた、分散低減を施したバイアス付き確率的勾配推定器を用いるが、二重モーメンタム機構を強化することで拡張する。
• アルゴリズムは2つの補助列を維持する：1つはモーメンタム更新用、もう1つは負のモーメンタム成分用で、誤差項の高速な減衰を可能にする。
• ヘッシアンの構造を活用し、収束レートの境界に条件数$\kappa$を組み込むことで、加速を達成する。
• 期待される最適性ギャップの上界を最小化するように更新ルールを設計し、タイトな$O((n + \sqrt{n\kappa})\log(1/\varepsilon))$の反復複雑度を達成する。
• $n$個の凸的かつ滑らかな関数の平均として定義される目的関数に適用可能で、標準的な滑らかさおよび凸性の仮定の下で収束保証が得られる。

実験結果

リサーチクエスチョン

• RQ1 一般の凸的で滑らかな目的関数に対して、確率的1階最適化手法が理論的下界に一致する加速収束レートを達成できるか？
• RQ2 Lasso やロジスティック回帰のような弱い凸性と滑らかさを持つ問題に対して、最適な$1/\sqrt{\varepsilon}$レートを達成する確率的アルゴリズムを設計可能か？
• RQ3 SVM などの例で示される、強い凸性だが非滑らかな経験的リスク最小化問題に対して、最適な$1/\sqrt{\varepsilon}$レートを達成できる確率的手法は可能か？
• RQ4 L1-SVM などの例で示される、弱い凸性と非滑らか性を持つ問題に対して、最適な$1/\varepsilon$レートを達成できる確率的手法は可能か？
• RQ5 完全な勾配計算を必要とせずに、確率的設定で加速を実現するための新しいモーメンタム機構は何か？

主な発見

• Katyushaは、滑らかで凸な目的関数に対して、$O((n + \sqrt{n\kappa})\log(1/\varepsilon))$回の確率的反復で加速収束レートを達成する。
• 弱い凸性と滑らかさを持つ目的関数（例：Lasso、ロジスティック回帰）に対して、Katyushaは最適な$1/\sqrt{\varepsilon}$収束レートを達成する。
• 強い凸性だが非滑らかな目的関数（例：SVM）に対して、Katyushaは最適な$1/\sqrt{\varepsilon}$レートを達成し、長年の未解決問題を解決する。
• 弱い凸性と非滑らか性を持つ目的関数（例：L1-SVM）に対して、Katyushaは最適な$1/\varepsilon$レートを達成し、これは従来の確率的手法では達成不可能であった。
• この手法は、完全に証明可能な収束加速を実現する形で、負のモーメンタムと分散低減を組み合わせた最初の手法である。