[論文レビュー] VR-SGD: A Simple Stochastic Variance Reduction Method for Machine Learning

Fanhua Shang, Kaiwen Zhou+6 more|arXiv (Cornell University)|Feb 26, 2018

Stochastic Gradient Optimization Techniques参考文献 37被引用数 13

ひとこと要約

本稿では、各エポックの平均値と最終反復値を2つの主要なベクトルとして用いる、VR-SGDと呼ばれる新しい確率的バリアンス低減手法を提案する。これにより、より大きな学習率が可能になり、収束が速くなる。強い凸問題に対して線形収束を達成し、非強い凸ケースに対しても収束保証を提供する。凸および非凸の経験的リスク最小化タスクにおいて、SVRG や Prox-SVRG、Katyusha などの最先端手法を上回る性能を発揮する。

ABSTRACT

In this paper, we propose a simple variant of the original SVRG, called variance reduced stochastic gradient descent (VR-SGD). Unlike the choices of snapshot and starting points in SVRG and its proximal variant, Prox-SVRG, the two vectors of VR-SGD are set to the average and last iterate of the previous epoch, respectively. The settings allow us to use much larger learning rates, and also make our convergence analysis more challenging. We also design two different update rules for smooth and non-smooth objective functions, respectively, which means that VR-SGD can tackle non-smooth and/or non-strongly convex problems directly without any reduction techniques. Moreover, we analyze the convergence properties of VR-SGD for strongly convex problems, which show that VR-SGD attains linear convergence. Different from its counterparts that have no convergence guarantees for non-strongly convex problems, we also provide the convergence guarantees of VR-SGD for this case, and empirically verify that VR-SGD with varying learning rates achieves similar performance to its momentum accelerated variant that has the optimal convergence rate $\mathcal{O}(1/T^2)$. Finally, we apply VR-SGD to solve various machine learning problems, such as convex and non-convex empirical risk minimization, and leading eigenvalue computation. Experimental results show that VR-SGD converges significantly faster than SVRG and Prox-SVRG, and usually outperforms state-of-the-art accelerated methods, e.g., Katyusha.

研究の動機と目的

• SVRG や Prox-SVRG などの既存の確率的バリアンス低減手法が学習率選択や収束解析において抱える制限を解消すること。
• 低周波数や非強い凸問題を、還元技術を必要とせずに直接処理できる手法の開発。
• 統一されたフレームワークの下で、強い凸および非強い凸問題の両方に対して理論的収束保証を提供すること。
• 実世界の機械学習タスクにおいて、既存手法よりも高速に収束する実用的なアルゴリズムの設計。

提案手法

• VR-SGD は、各エポックの2つのベクトルを、直前のエポックの平均値と最終反復値として設定し、より大きな学習率と向上した安定性を実現する。
• 滑らかでない目的関数に対応するため、滑らかでない目的関数用と滑らかでない目的関数用の2つの異なる更新ルールを採用し、ℓ1 などの微分不能な正則化子を直接処理できる。
• ミニバッチの確率的勾配を用い、バリアンス低減を実現する。全勾配は定期的に再計算され、ノイズ低減が行われる。
• 非強い凸問題に対しては、変化する学習率を用いることで、加速手法と同等の最適な O(1/T²) の収束率に近い性能を達成する。
• 非凸設定への拡張として、VR-SGD++ を導入し、初期段階の勾配計算を削減することで効率性を向上させる。
• 強い凸および非強い凸ケースの両方に対して収束解析を実施し、それぞれ線形収束と部分線形収束率を確立する。

実験結果

リサーチクエスチョン

• RQ1 各エポックの平均値と最終反復値を用いることで、より大きな学習率と高速な収束を実現できるバリアンス低減手法を設計できるか？
• RQ2 問題変換や還元技術を必要とせず、非強い凸および非滑らか問題に対しても収束保証を達成できるか？
• RQ3 VR-SGD は強い凸問題に対して線形収束を達成するか？ また、加速手法と比較して収束速度はどのように異なるか？
• RQ4 Katyusha や SAGA といった最先端手法と比較して、VR-SGD は凸および非凸の経験的リスク最小化タスクにおいて、実験的にどの程度の性能を発揮するか？

主な発見

• VR-SGD は、ロジスティック回帰（ℓ1、ℓ2、およびエラスティックネット正則化付き）を含む、すべてのテストデータセットおよび問題タイプにおいて、SVRG や Prox-SVRG よりも著しく高速に収束する。
• 非強い凸問題に対しては、変化する学習率を用いた VR-SGD が、Katyusha のようなモーメンタム加速手法の最適な O(1/T²) の収束率に近い性能を達成する。
• シグモイド損失を用いた非凸の経験的リスク最小化において、VR-SGD は SAGA や SVRG、SVRG++ よりも目的関数値および関数の最適性の低下において優れた性能を示す。
• 提案された VR-SGD++ は初期段階の勾配計算を削減し、大規模問題において SVRG++ を上回る効率性を実現する。
• 理論的解析により、強い凸問題では線形収束が確認され、非強い凸ケースに対しても収束保証が提供され、既存手法のギャップを埋める。
• 実験的結果から、主成分分析（PCA）、行列補完、ディープラーニング関連の問題を含む多様な機械学習タスクにおいて、VR-SGD は常に最先端手法を上回る性能を発揮することが示された。