[論文レビュー] A Unified Analysis of Stochastic Gradient Methods for Nonconvex Federated Optimization

Zhize Li, Peter Richtárik|arXiv (Cornell University)|Jun 12, 2020

Stochastic Gradient Optimization Techniques参考文献 39被引用数 24

ひとこと要約

本稿では、非凸分散最適化における確率的勾配法の統一的収束解析を提案し、確率的勾配の2次モーメントに関する柔軟な仮定を導入する。この仮定により、SGD、SVRG、SAGA、および通信圧縮を伴う変種を含む多様な手法の解析が統一され、標準的条件下で鋭い収束レートが得られるとともに、従来未解析であった手法に対しても新たな結果が得られる。

ABSTRACT

In this paper, we study the performance of a large family of SGD variants in the smooth nonconvex regime. To this end, we propose a generic and flexible assumption capable of accurate modeling of the second moment of the stochastic gradient. Our assumption is satisfied by a large number of specific variants of SGD in the literature, including SGD with arbitrary sampling, SGD with compressed gradients, and a wide variety of variance-reduced SGD methods such as SVRG and SAGA. We provide a single convergence analysis for all methods that satisfy the proposed unified assumption, thereby offering a unified understanding of SGD variants in the nonconvex regime instead of relying on dedicated analyses of each variant. Moreover, our unified analysis is accurate enough to recover or improve upon the best-known convergence results of several classical methods, and also gives new convergence results for many new methods which arise as special cases. In the more general distributed/federated nonconvex optimization setup, we propose two new general algorithmic frameworks differing in whether direct gradient compression (DC) or compression of gradient differences (DIANA) is used. We show that all methods captured by these two frameworks also satisfy our unified assumption. Thus, our unified convergence analysis also captures a large variety of distributed methods utilizing compressed communication. Finally, we also provide a unified analysis for obtaining faster linear convergence rates in this nonconvex regime under the PL condition.

研究の動機と目的

• 一様で柔軟な仮定のもとで、非凸最適化における広範な確率的勾配法の収束解析を統一すること。
• フェデレーテッドラーニングにおけるSGD、SVRG、SAGA、およびそれらの通信圧縮変種といった既存手法を1つの理論的枠組みに統合すること。
• 標準的および新規手法（勾配圧縮および分散還元を含む）の鋭い収束レートを導出すること。
• 統一的解析をPL条件の枠組みに拡張し、広範なアルゴリズム群に対して線形収束レートを達成すること。
• 提案された枠組みを活用して、即座に適用可能な収束保証を備えた新規SGD変種の設計を容易にすること。

提案手法

• 係数 $ A_1, B_1, C_1, D_1, \sigma_k^2, \rho $ でパラメータ化された、確率的勾配の2次モーメントに関する統一的仮定を提案し、多様な勾配推定器を捉える。
• 通信圧縮を伴う分散非凸最適化のための2つのアルゴリズムフレームワーク（DC：直接圧縮、DIANA：勾配差分の圧縮）を構築する。
• DCおよびDIANAフレームワークに属するすべての手法が、提案された統一的仮定を満たすことを確立し、1つの収束解析が可能となるようにする。
• 標準的な滑らかさおよび勾配有界性仮定のもとで、非凸問題に対する統一的収束定理を導出する。
• Polyak-Łojasiewicz（PL）条件への解析の拡張を行い、同様の手法群に対して線形収束レートを導出する。
• パラメータ $ A_2, B_2, C_2 $ を用いた再帰的不等式フレームワークを用い、期待される最適性の不備をバインドし、反復複雑度の上限を導出する。

実験結果

リサーチクエスチョン

• RQ1 非凸最適化における多様なSGD変種の収束解析を1つの理論的枠組みで統一できるか？
• RQ2 勾配圧縮と分散還元を、共通の理論的枠組み内で体系的に分析できるか？
• RQ3 提案された統一的枠組みの特殊ケースとして生じる新規手法に対して、どのような収束レートが導出可能か？
• RQ4 PL条件の枠組みに解析を拡張し、広範な手法群に対して線形収束を達成できるか？
• RQ5 統一的枠組み下で、DIANA-LSVRG や DIANA-SAGA といった手法の、達成可能な最もタイトな反復複雑度の上限は何か？

主な発見

• 提案された統一的仮定は、SGD、SVRG、SAGA、およびそれらの圧縮変種を捉え、1つの収束解析を可能にする。
• 統一的解析により、SGD や L-SVRG といった古典的手法の既知の最良の収束レートが回復され、あるいはそれを改善する。
• PL条件下での DIANA-LSVRG 手法について、反復回数の上限が $ K = \left(1 + \frac{2(1+\omega)B'}{mb\rho}\right)\frac{L}{\mu}\log\frac{2\Delta_0}{\epsilon} $ で与えられ、圧縮および分散還元の明示的依存性を有する。
• DIANA-SAGA 手法はPL条件下で線形収束を達成し、反復複雑度が $ K = \left(1 + \frac{2(1+\omega)B'}{mb\rho}\right)\frac{L}{\mu}\log\frac{2\Delta_0}{\epsilon} $ で与えられる。ここで $ B' = (1 - \frac{b}{n})\bar{L}^2\eta^2\gamma^{-1} + Bb^{-1} $ である。
• この枠組みにより、従来未解析であった手法（例：圧縮SAGA、有限和目的関数をもつDIANA型変種）に対しても収束保証が可能になる。
• 解析により、DIANAによる勾配圧縮が、標準的手法と同等の条件下で収束を維持することが示され、定数の劣化はわずかに抑えられる。