[論文レビュー] Communication trade-offs for synchronized distributed SGD with large step size

Kumar Kshitij Patel, Aymeric Dieuleveut|arXiv (Cornell University)|Apr 25, 2019

Stochastic Gradient Optimization Techniques参考文献 91被引用数 18

ひとこと要約

この論文は、分散SGDにおける大ステップサイズ（$t^{-\alpha}$、$\alpha \in (1/2,1)$）を用いたローカルSGDに対して、非漸近的誤差解析を初めて提供し、収束に影響を与えることなく通信頻度を$O\left(\frac{\sqrt{T}}{P^{3/2}}\right)$ 減少させられることを示している。これは、1ショット平均化およびミニバッチ平均化を凌駕する通信効率を実現している。

ABSTRACT

Synchronous mini-batch SGD is state-of-the-art for large-scale distributed machine learning. However, in practice, its convergence is bottlenecked by slow communication rounds between worker nodes. A natural solution to reduce communication is to use the \emph{`local-SGD'} model in which the workers train their model independently and synchronize every once in a while. This algorithm improves the computation-communication trade-off but its convergence is not understood very well. We propose a non-asymptotic error analysis, which enables comparison to \emph{one-shot averaging} i.e., a single communication round among independent workers, and \emph{mini-batch averaging} i.e., communicating at every step. We also provide adaptive lower bounds on the communication frequency for large step-sizes ($ t^{-α} $, $ α\in (1/2 , 1 ) $) and show that \emph{Local-SGD} reduces communication by a factor of $O\Big(\frac{\sqrt{T}}{P^{3/2}}\Big)$, with $T$ the total number of gradients and $P$ machines.

研究の動機と目的

• 同期分散SGDにおける通信ボトル neck を緩和するため、通信と精度のトレードオフを分析すること。
• 実際の応用で一般的に用いられる大ステップサイズ（$t^{-\alpha}$、$\alpha \in (1/2,1)$）を用いたローカルSGDの非漸近的誤差解析を提供すること。
• ローカルSGDがミニバッチ平均化の性能に並ぶために必要な最小通信頻度を定量化すること。
• 最適解からの距離に依存する適応的通信戦略を導出すること。これは、実験的に観察された事実と整合する。
• 有限時間ホライズンおよび大ステップサイズの枠組み下で、1ショット平均化とミニバッチ平均化のバイアス・バリアンストレードオフを比較すること。

提案手法

• 滑らかさと強く凸であるという仮定の下で、オンラインおよび有限時間ホライズン設定の両方をカバーするローカルSGDの非漸近的誤差解析を提案する。
• 大ステップサイズにおける通信頻度の適応的下界を導出し、$T$ 個の総勾配と$P$ 個のワーカーを用いた場合に、通信頻度を$O\left(\frac{\sqrt{T}}{P^{3/2}}\right)$ 減少させられることを示す。
• 1ショット平均化とミニバッチ平均化のバイアス・バリアンス分解を分析し、大ステップサイズ下での収束特性を比較する。
• 確率過程の解析とリャプノフ型の議論を用いて、最適解への期待二乗誤差を制御する。
• ローカルSGDが、通信が疎である場合でもミニバッチSGDと同等の収束速度を達成できる条件を確立する。
• 理論的発見を実験的に検証し、ローカルSGD、1ショット、ミニバッチバージョンの挙動を示す。

実験結果

リサーチクエスチョン

• RQ1 大ステップサイズを用いたローカルSGDが、ミニバッチSGDと同等の収束を達成するための最小通信頻度は何か？
• RQ2 大ステップサイズを用いた場合、1ショット平均化とミニバッチ平均化のバイアスとバリアンスの観点での性能はどのように異なるか？
• RQ3 ローカルSGDにおいて、通信頻度を$O\left(\frac{\sqrt{T}}{P^{3/2}}\right)$ 倍まで削減しても収束性能が劣化しないか、またその条件は何か？
• RQ4 実験的に観察されたように、必要な通信頻度は最適解からの距離に応じて適応的になるか？
• RQ5 どのような仮定の下で、ローカルSGDは大ステップサイズを用いて最適な収束レートを達成できるか？

主な発見

• ローカルSGDの通信頻度は、$T$ 個の総勾配と$P$ 個のワーカーを用いた場合、ミニバッチSGDと比較して$O\left(\frac{\sqrt{T}}{P^{3/2}}\right)$ 倍まで削減可能であり、最適な収束を維持できる。
• 1ショット平均化と比較して、ミニバッチ平均化は、マシン数と勾配数が同時に増加する状況下でバイアス・バリアンストレードオフの観点で優れている。これは、固定$P$ に対して両者が漸近的に同等であるのとは対照的である。
• 理論的解析により、最適点からの期待距離に依存する通信頻度の適応的下界が得られ、Zhangら（2016）の実験的観察と整合する。
• 通信を導出された頻度にスケジューリングした場合、ローカルSGDは大ステップサイズ（$t^{-\alpha}$、$\alpha \in (1/2,1)$）であっても、ミニバッチSGDと同等の最適な収束レートを達成する。
• 理論的枠組みは、滑らかさと強く凸であるという仮定の下で、標準的な機械学習問題（最小二乗回帰やロジスティック回帰）に適用可能である。
• 実験により理論的発見が裏付けられ、分散SGDにおける通信、計算、収束のトレードオフの様子が明確に示された。