[論文レビュー] A Unified Theory of SGD: Variance Reduction, Sampling, Quantization and Coordinate Descent

Eduard Gorbunov, Filip Hanzely+1 more|arXiv (Cornell University)|May 27, 2019

Stochastic Gradient Optimization Techniques参考文献 44被引用数 18

ひとこと要約

本稿では、分散低減、重要度サンプリング、ミニバッチ処理、量子化、座標降下を含む多様な確率的勾配降下（SGD）変種の広範なクラスを分析する統一的理論的枠組みを提示する。反復点と確率的勾配にパrametric仮定を導入することで、異なる最適化手法にわたる既存の結果を包含・改善する、単一の線形収束定理を導出する。

ABSTRACT

In this paper we introduce a unified analysis of a large family of variants of proximal stochastic gradient descent ({ t SGD}) which so far have required different intuitions, convergence analyses, have different applications, and which have been developed separately in various communities. We show that our framework includes methods with and without the following tricks, and their combinations: variance reduction, importance sampling, mini-batch sampling, quantization, and coordinate sub-sampling. As a by-product, we obtain the first unified theory of { t SGD} and randomized coordinate descent ({ t RCD}) methods, the first unified theory of variance reduced and non-variance-reduced { t SGD} methods, and the first unified theory of quantized and non-quantized methods. A key to our approach is a parametric assumption on the iterates and stochastic gradients. In a single theorem we establish a linear convergence result under this assumption and strong-quasi convexity of the loss function. Whenever we recover an existing method as a special case, our theorem gives the best known complexity result. Our approach can be used to motivate the development of new useful methods, and offers pre-proved convergence guarantees. To illustrate the strength of our approach, we develop five new variants of { t SGD}, and through numerical experiments demonstrate some of their properties.

研究の動機と目的

• これまで別々の理論的取り扱いを要していた多様なSGD変種の分析を統一すること。
• 分散低減の有無に関わらず、重要度サンプリング、ミニバッチ処理、量子化、座標部分抽出を含む手法を統合する共通の理論的枠組みを確立すること。
• 強い準凸性と反復点・勾配に対するパrametric仮定の下で、証明可能な線形収束を有する単一の収束定理を提供すること。
• 事前に証明された収束保証を備えた新しいSGD変種の体系的設計を可能にすること。
• SGDと確率的座標降下（RCD）手法を結びつける初めての統一的理論を提供すること。

提案手法

• 反復点と確率的勾配にパrametric仮定を導入することで、多様なSGD変種にわたる収束解析を統一すること。
• 最適解との二乗距離、確率的勾配の二階モーメント、およびBregman散発に関連する項を組み合わせたリャプノフ関数を採用すること。
• リャプノフ関数の期待値減少を制限する、重要な1反復の再帰不等式を導出すること。
• 再帰不等式を用いて、強い準凸性とパrametric仮定の下で線形収束を確立すること。
• SAGA、SVRG、標準SGDなどの既存手法の既知の収束レートを回復・改善するために、この枠組みを適用すること。
• 5つの新しいSGD変種の設計と数値的検証を通じて、枠組みの実用的有用性を示すこと。

実験結果

リサーチクエスチョン

• RQ1 分散低減、重要度サンプリング、量子化を含む多様なSGD変種の収束解析を統一する単一の理論的枠組みを構築可能か？
• RQ2 反復点と勾配に対するどのようなパrametric仮定が、広範なメソッドクラスにわたる統一的収束証明を可能にするか？
• RQ3 提案された枠組みは、既存のSGD変種の複雑度境界をどのように改善するか？
• RQ4 この枠組みを用いて、収束保証付きの新しいSGD変種を体系的に導出・分析可能か？
• RQ5 この枠組みは、SGDと確率的座標降下（RCD）手法をどの程度統一的に扱えるか？

主な発見

• 提案された枠組みは、分散低減、重要度サンプリング、ミニバッチ処理、量子化、座標降下を含む広範なSGD変種に適用可能な単一の線形収束定理を提供する。
• 回復されたすべての特殊ケース（SAGA、SVRG、標準SGDなど）において、既知の最良の収束複雑度を達成する。
• SGDとRCD手法の最初の統一的理論を確立し、両者が同一の理論的枠組みの下で解析可能であることを示した。
• この枠組みにより、収束保証付きの5つの新しいSGD変種の設計が可能となり、その有用性が実証された。
• 理論的解析は数値実験によって裏付けられており、提案された新規変種の性質が妥当であることが検証された。
• 主な技術的貢献は、確率的勾配と反復点に対するパrametric仮定の下で、収束解析の統一を可能にする1反復の再帰不等式である。