[論文レビュー] How To Make the Gradients Small Stochastically: Even Faster Convex and Nonconvex SGD

Zeyuan Allen-Zhu|arXiv (Cornell University)|Jan 8, 2018

Stochastic Gradient Optimization Techniques被引用数 39

ひとこと要約

本稿では、凸最適化のための新しい確率的勾配降下法（SGD）の変種であるSGD3と、非凸最適化のためのSGD5を提案する。これらのアルゴリズムは、勾配ノルムを低減するための収束速度を著しく向上させる。ネステロフの加速技術と適応的学習率戦略を活用することで、凸問題では近似的に最適な$ widetilde{O}( Varepsilon^{-2})$の収束率、非凸問題では$ widetilde{O}( Varepsilon^{-3.5})$の収束率を達成し、従来の境界から桁違いに改善される。

ABSTRACT

Stochastic gradient descent (SGD) gives an optimal convergence rate when minimizing convex stochastic objectives $f(x)$. However, in terms of making the gradients small, the original SGD does not give an optimal rate, even when $f(x)$ is convex. If $f(x)$ is convex, to find a point with gradient norm $\varepsilon$, we design an algorithm SGD3 with a near-optimal rate $ ilde{O}(\varepsilon^{-2})$, improving the best known rate $O(\varepsilon^{-8/3})$ of [18]. If $f(x)$ is nonconvex, to find its $\varepsilon$-approximate local minimum, we design an algorithm SGD5 with rate $ ilde{O}(\varepsilon^{-3.5})$, where previously SGD variants only achieve $ ilde{O}(\varepsilon^{-4})$ [6, 15, 33]. This is no slower than the best known stochastic version of Newton's method in all parameter regimes [30].

研究の動機と目的

• 確率的凸最適化における勾配ノルムの最小化のための収束速度のギャップを埋めること。既存手法では$O(\varepsilon^{-8/3})$の収束速度にとどまっていた。
• 改善された勾配ノルム収束を非凸最適化に拡張すること。従来の手法では$ widetilde{O}(\varepsilon^{-4})$の収束速度にとどまっていた。
• データサイズ$n$に依存しないオンラインアルゴリズムを設計すること。大規模または無限データの設定に適している。
• 特にネステロフのテクニックを統合し、改善することで、勾配ノルム低減のための既存の加速技術を統一的かつ強化すること。
• 特定の応用分野において、小さな目的関数値を最小化するのではなく、小さな勾配を最小化することがより適切な最適化目標である理論的根拠を提供すること。

提案手法

• 凸設定における勾配ノルム低減のための$\widetilde{O}(\varepsilon^{-2})$収束率を達成するSGD3を提案。ネステロフの加速と適応的学習率スケジューリングを用いる。
• 二段階戦略を導入：まず加速勾配降下を実行し、その後出力をもとに勾配降下を実行して勾配ノルムを低減する。
• 非凸問題に対しても同様の原則を適用し、SGD5を導入。$ widetilde{O}(\varepsilon^{-3.5})$の収束率を達成し、従来の$ widetilde{O}(\varepsilon^{-4})$の境界を改善する。
• 合成目的関数の取り扱いや確率的更新の安定性を保証するため、正則化子$\psi(x)$を用いたプロキシマル定式化を採用。
• 分散が有界な$\mathcal{V}$である確率的勾配オракルを用い、ノイズの多い勾配推定値に対しても収束を保証する。
• 収束の主要指標として勾配マッピング$\mathcal{G}_{F,\eta}(x)$を定義し、$\|\mathcal{G}_{F,\eta}(x)\| \leq \varepsilon$を目標とする。

実験結果

リサーチクエスチョン

• RQ1 確率的凸最適化における勾配ノルム低減の収束速度を、$O(\varepsilon^{-8/3})$を上回るように改善できるか？
• RQ2 凸最適化で用いられる同じ加速技術を、非凸問題においてもより速い収束を達成するために適応できるか？
• RQ3 $n$に依存しないオンラインアルゴリズムを設計し、近似的に最適な勾配ノルム低減を達成できるか？
• RQ4 ネステロフの加速テクニックは、標準的なSGDと比較して、勾配ノルム収束をどのように改善するか？
• RQ5 確率的設定における勾配ノルム低減の理論的限界は何か？そして、その限界に近づけることができるか？

主な発見

• SGD3は凸目的関数に対して$\widetilde{O}(\varepsilon^{-2})$の勾配ノルム収束速度を達成し、従来の最良速度$O(\varepsilon^{-8/3})$を上回る。
• 非凸問題においては、SGD5が$\widetilde{O}(\varepsilon^{-3.5})$の収束速度で$\varepsilon$近似静止点に到達し、従来の$\widetilde{O}(\varepsilon^{-4})$の速度を改善する。
• 改善された収束速度は対数要因を除いて最適であり、確率的ニュートン法の最高水準の収束速度と一致する。
• 提案されたアルゴリズムはオンラインであり、勾配複雑度が$n$に依存しないため、大規模またはストリーミングデータの設定に適している。
• 理論的分析により、行列スケーリングや双対最適化などの応用分野において、目的関数値の最小化よりも勾配ノルムの最小化がより適切な最適化目標であることが確認された。
• 加速技術が目的関数値の低減のためだけでなく、勾配ノルムの低減のためにも効果的に再利用可能であることが実証された。