[論文レビュー] Guaranteed Sufficient Decrease for Stochastic Variance Reduced Gradient Optimization

Fanhua Shang, Yuanyuan Liu+4 more|arXiv (Cornell University)|Feb 26, 2018

Stochastic Gradient Optimization Techniques参考文献 7被引用数 5

ひとこと要約

本稿では、SVRG や SAGA などの確率的バナリアンス低減勾配法における、新たな十分減少技術を提案する。動的係数を導入することで、ステップサイズの適応的調整（収縮・拡大・方向転換）が可能となり、目的関数の単調減少を保証する。得られるアルゴリズムである SVRG-SD および SAGA-SD は、強い凸問題に対して線形収束を達成し、非強い凸ケースに対しても収束保証を提供する。SVRG や SAGA、さらには加速化された Katyusha 法でさえも、収束速度および実行時間の両面で上回る性能を発揮する。

ABSTRACT

In this paper, we propose a novel sufficient decrease technique for stochastic variance reduced gradient descent methods such as SVRG and SAGA. In order to make sufficient decrease for stochastic optimization, we design a new sufficient decrease criterion, which yields sufficient decrease versions of stochastic variance reduction algorithms such as SVRG-SD and SAGA-SD as a byproduct. We introduce a coefficient to scale current iterate and to satisfy the sufficient decrease property, which takes the decisions to shrink, expand or even move in the opposite direction, and then give two specific update rules of the coefficient for Lasso and ridge regression. Moreover, we analyze the convergence properties of our algorithms for strongly convex problems, which show that our algorithms attain linear convergence rates. We also provide the convergence guarantees of our algorithms for non-strongly convex problems. Our experimental results further verify that our algorithms achieve significantly better performance than their counterparts.

研究の動機と目的

• 標準的な確率的勾配降下法における高い勾配推定の分散による収束の悪さという問題に取り組む。
• 確率的バナリアンス低減法において、目的関数の単調減少を保証する十分減少基準を構築する。
• 最適化の過程で収縮・拡大・方向転換を可能にする、ステップサイズ係数の適応的更新ルールを設計する。
• 提案されたフレームワーク下で、強い凸問題および非強い凸問題の両方に対して理論的収束保証を提供する。
• 実験的に、新しいアルゴリズムが既存手法よりも収束速度および実行時間効率において優れていることを検証する。

提案手法

• ステップごとに目的関数が減少することを保証する新たな十分減少基準を導入し、真の勾配から逸脱する確率的勾配に対しても有効である。
• 動的係数を導入して現在の反復点をスケーリングし、十分減少条件に基づき、方向の調整（収縮・拡大・逆転）を可能にする。
• Lasso やリッジ回帰に特化した、問題構造を活かした係数の具体的な更新ルールを導出する。
• 十分減少技術を SVRG および SAGA に適用し、反復ごとの計算量の増加が最小限に抑えられた SVRG-SD および SAGA-SD を得る。
• 十分減少戦略とモーメンタム加速を組み合わせることで、収束速度を向上させる。
• 理論的分析により、強い凸問題では線形収束が示され、非強い凸ケースに対しても収束保証が得られる。

実験結果

リサーチクエスチョン

• RQ1 確率的バナリアンス低減法に対して、ノイズの多い勾配に対しても目的関数の単調減少を保証する十分減少基準を設計できるか？
• RQ2 動的係数をどのように活用して、SVRG や SAGA におけるステップサイズの方向と大きさを適応的に制御できるか？
• RQ3 提案された SVRG-SD および SAGA-SD アルゴリズムは、強い凸問題に対して線形収束を達成するか？
• RQ4 十分減少技術は、標準的な SVRG や SAGA が収束しない非強い凸問題に対しても収束保証を提供できるか？
• RQ5 実際の応用において、収束速度および実行時間の両面で、Katyusha や他の最先端手法に比べて SVRG-SD および SAGA-SD はどのように性能を発揮するか？

主な発見

• SVRG-SD および SAGA-SD は、強い凸な複合最小化問題に対して、既知の最良の理論的バウンディングに一致する線形収束レートを達成する。
• 提案されたアルゴリズムは、非強い凸問題に対しても収束保証を提供するが、これは標準的な SVRG や SAGA の変種では一般的に確立されていない性質である。
• 実験では、複数のデータセットおよび正則化パラメータに対して、有効なパス数および実行時間の両面で、SVRG や SAGA よりも顕著に優れた性能を示した。
• リッジ回帰において正則化パラメータが小さい場合（例：λ₁ = 10⁻⁷）、SVRG-SD および SAGA-SD は、最先端の加速手法である Katyusha よりも速く収束した。
• 十分減少反復回数の異なる値に対しても、SVRG-SD および SAGA-SD は安定した性能を示し、一貫した改善効果を示した。
• Catalyst やその他の非加速手法よりも優れた性能を発揮し、反復あたりの計算量が低いことから、Katyusha に対しても実行時間の面で上回った。