[論文レビュー] ASVRG: Accelerated Proximal SVRG

Fanhua Shang, Licheng Jiao+4 more|arXiv (Cornell University)|Oct 7, 2018

Stochastic Gradient Optimization Techniques被引用数 21

ひとこと要約

本稿では、1つの追加変数と1つのモーメンタムパラメータのみを用いた単純なモーメンタム加速テクニックを導入することで、強い凸および非強い凸問題の両方において、既存の最良のオракル複雑度を達成するとともに、1反復あたりの計算コストを低く保つ、加速型プロキシマル確率的バリアンス低減勾配法であるASVRGを提案する。実験的評価では、最先端の性能を達成または上回ることが確認された。

ABSTRACT

This paper proposes an accelerated proximal stochastic variance reduced gradient (ASVRG) method, in which we design a simple and effective momentum acceleration trick. Unlike most existing accelerated stochastic variance reduction methods such as Katyusha, ASVRG has only one additional variable and one momentum parameter. Thus, ASVRG is much simpler than those methods, and has much lower per-iteration complexity. We prove that ASVRG achieves the best known oracle complexities for both strongly convex and non-strongly convex objectives. In addition, we extend ASVRG to mini-batch and non-smooth settings. We also empirically verify our theoretical results and show that the performance of ASVRG is comparable with, and sometimes even better than that of the state-of-the-art stochastic methods.

研究の動機と目的

• 複合凸最適化のための、より単純かつ効率的な加速型確率的バリアンス低減法の変種を開発すること。
• Katyushaなどの既存手法と比較して、補助変数およびモーメンタムパラメータの数を削減することで、1反復あたりの計算コストを低減すること。
• 非滑らか正則化子を伴う有限和最小化の文脈において、強い凸および非強い凸問題の両方で最適なオラクル複雑度を達成すること。
• ミニバッチおよび非滑らか設定へとこの手法を拡張し、理論的保証を維持すること。
• 理論的結果を実験的に検証し、最先端の確率的最適化手法と比較して競争力のある性能を示すこと。

提案手法

• 1つの追加変数と1つのモーメンタムパラメータを用いた、更新構造を単純化した新しいモーメンタム加速メカニズムを提案する。
• 過去のフル勾配と確率的勾配を組み合わせたモーメンタム項を有するバリアンス低減勾配推定器を導入することで、SVRGフレームワークを変更する。
• 2重ループ構造を採用：外側のループではスナップショット点におけるフル勾配を計算し、内側のループではバイアス付きだがバリアンス低減された勾配推定器を用いたプロキシマル更新を実行する。
• リャプノフ関数解析を用いて収束レートを導出し、強い凸問題では線形収束、非強い凸問題では改善された収束レートを確立する。
• 濃縮不等式（補題E.1）を用いて、サンプリング戦略の調整と勾配の分散バウンドの制御により、ミニバッチ設定への拡張を実現する。
• 問題の条件数およびデータサイズに最適にスケーリングされるパラメータ化されたステップサイズとモーメンタムスキームを導入する。

実験結果

リサーチクエスチョン

• RQ1 プロキシマルSVRGに適した、より単純なモーメンタムベースの加速スキームを設計可能か？ その際、最適な収束レートを維持できるか？
• RQ2 加速型SVRGにおける補助変数およびモーメンタムパラメータの数を減らすことで、収束速度を損なわずに1反復あたりの計算コストを低減できるか？
• RQ3 提案手法は、有限和最適化における強い凸および非強い凸問題の両方で、既存の最良のオラクル複雑度を達成できるか？
• RQ4 ASVRGのミニバッチ拡張は、既存手法と比較して収束性および実用的性能にどのような影響を与えるか？
• RQ5 ASVRGの実験的性能は、Katyushaなどの最先端の確率的最適化アルゴリズムと同等またはそれを上回るか？

主な発見

• 強い凸問題において、ASVRGはO((n + √(nL/μ)) log(1/ε))という、既存で最も良いオラクル複雑度を達成し、対数要因を除いて理論的下界と一致する。
• 非強い凸問題では、ASVRGはO(1/t²)の収束レートを達成し、FISTAのような加速型決定的手法の最適レートと一致する。
• 本手法は、Katyushaが複数の補助変数を用いるのに対し、1つの追加変数と1つのモーメンタムパラメータのみを必要とし、1反復あたりの計算コストを顕著に低減している。
• 実験的結果から、ASVRGはKatyusha や Prox-SVRG と比較して、さまざまな機械学習タスクにおいて同等または優れた性能を示している。
• ASVRGのミニバッチ拡張は理論的収束保証を維持しており、Lemma E.1における分散バウンドの支援により、より大きなバッチサイズでもスケーラビリティが向上していることが示された。
• 理論的分析により、ASVRGにおけるモーメンタム機構が、特に条件数が悪い問題において、勾配の分散を効果的に低減し、収束を加速することが確認された。