[論文レビュー] Stochastic Distributed Learning with Gradient Quantization and Variance Reduction

Samuel Horváth, Dmitry Kovalev+3 more|arXiv (Cornell University)|Apr 10, 2019

Stochastic Gradient Optimization Techniques参考文献 56被引用数 81

ひとこと要約

本論文は DIANA 型の分散最適化アルゴリズムを開発し、任意の不偏な勾配量子化を可能にする。さらに量子化通信を用いても線形収束を任意の精度まで達成する分散化のバリアントを導入する。理論的保証を強凸、凸、非凸の各レジームで提供し、実験によって改善を検証する。

ABSTRACT

We consider distributed optimization where the objective function is spread among different devices, each sending incremental model updates to a central server. To alleviate the communication bottleneck, recent work proposed various schemes to compress (e.g.\ quantize or sparsify) the gradients, thereby introducing additional variance $ω\geq 1$ that might slow down convergence. For strongly convex functions with condition number $κ$ distributed among $n$ machines, we (i) give a scheme that converges in $\mathcal{O}((κ+ κ\fracω{n} + ω)$ $\log (1/ε))$ steps to a neighborhood of the optimal solution. For objective functions with a finite-sum structure, each worker having less than $m$ components, we (ii) present novel variance reduced schemes that converge in $\mathcal{O}((κ+ κ\fracω{n} + ω+ m)\log(1/ε))$ steps to arbitrary accuracy $ε> 0$. These are the first methods that achieve linear convergence for arbitrary quantized updates. We also (iii) give analysis for the weakly convex and non-convex cases and (iv) verify in experiments that our novel variance reduced schemes are more efficient than the baselines.

研究の動機と目的

• 分散最適化における通信ボトルネックを緩和するため、勾配更新を圧縮して収束性を損なわないようにする。
• 勾配量子化を一般的で不偏な設定に拡張し、収束境界を証明する。
• 共有凸性と強凸性の設定で、最適解へ収束する（近傍ではなく）分散量子化アルゴリズムを導入する。
• 強凸、凸、非凸のレジーム全体で理論解析を提供する。
• 提案手法をベースラインと比較して、通信効率と性能を実証的に示す。

提案手法

• 任意の omega-量子化演算子を用いた DIANA フレームワークを採用し、勾配更新を圧縮しつつ不偏性を維持する。
• ワーカー側の局所蓄積変数 h_i^k を用い、勾配差分を量子化して更新し分散を低減する。
• 適切なステップサイズと Lyapunov 関数の下で omega-量子化のもとに線形収束を証明し、反復回数の境界を導出する。
• SVRG、SAGA、L-SVRG に基づく勾配の量子化更新と各ワーカーの勾配表またはエポック勾配を用いた分散の分散削減スキーム (VR-DIANA) を拡張する。
• 線形収束を強凸場合に達成する SVRG-ベース、SAGA-ベース、L-SVRG-ベースの 3 つの変種と、凸/非凸場合には O(1/k) の収束を達成し、通信削減を定量化する。
• 異なる量子化演算子（ランダムディザリング、スパース化、ブロック量子化）を検討・モデル化し、それらが omega と収束へ及ぼす影響を議論する。

実験結果

リサーチクエスチョン

• RQ1 任意の不偏勾配量子化を分散最適化に組み込んでも収束保証を損なわないか。
• RQ2 分散の分散削減を伴う量子化手法は強凸・凸・非凸の問題で最適解へ線形収束を達成するか。
• RQ3 実務的には量子化パラメータ omega は収束速度と通信コストにどう影響するか。
• RQ4 有限和と非和集合の目的関数における VR-DIANA 変種の反復複雑性と通信削減の比較トレードオフはどうなるか。
• RQ5 経験的結果は、現実のデータセットにおける量子化と分散削減の理論的利点をベースラインより支持するか。

主な発見

• omega-量子化を用いた DIANA は、適切なステップサイズの下で強凸問題の最適解へ線形収束を達成する。
• 分散削減を伴う量子化スキーム (VR-DIANA) は、kappa、omega、n、m に依存する速度で任意の精度へ収束し、omega が適切に制御されると非量子化の速度と一致する可能性がある。
• 有限和設定では、VR-DIANA 変種は線形収束（強凸）および O(1/k)（凸/非凸）を達成し、通信コストは量子化により削減される。
• 補助変数 h_i^k および勾配差分の量子化により、勾配を圧縮しても有効な分散削減が可能となる。
• 実験では、VR-DIANA 変種は反復回数でベースラインと同等を保ちつつ、総通信量を大幅に削減することを示した。特に通信がボトルネックとなる状況で効果的。
• 本研究は、ディザリング、スパース化、ブロック量子化など、収束と通信のバランスを取るための量子化手法の選択に関する具体的な指針を提供する。