[論文レビュー] Communication-efficient SGD: From Local SGD to One-Shot Averaging

Artin Spiridonoff, Alex Olshevsky+1 more|arXiv (Cornell University)|Jun 9, 2021

Stochastic Gradient Optimization Techniques参考文献 41被引用数 8

ひとこと要約

本稿では、通信回数が反復回数 $T$ に依存しない $\Omega(N)$ 回に抑えられながらも、最適な収束速度 $1/(NT)$ を達成する通信効率の良い Local SGD の変種を提案する。また、わずか1回の平均化（1回の通信ラウンド）でも、やや緩い滑らかさの仮定の下では漸近的に線形スケーリングが達成可能であることを示し、従来の方法が $\text{poly}(\log T)$ や $\sqrt{T}$ に比例して通信量が増加するのと比べて、顕著な通信オーバーヘッドの低減を実現する。

ABSTRACT

We consider speeding up stochastic gradient descent (SGD) by parallelizing it across multiple workers. We assume the same data set is shared among $N$ workers, who can take SGD steps and coordinate with a central server. While it is possible to obtain a linear reduction in the variance by averaging all the stochastic gradients at every step, this requires a lot of communication between the workers and the server, which can dramatically reduce the gains from parallelism. The Local SGD method, proposed and analyzed in the earlier literature, suggests machines should make many local steps between such communications. While the initial analysis of Local SGD showed it needs $Ω( \sqrt{T} )$ communications for $T$ local gradient steps in order for the error to scale proportionately to $1/(NT)$, this has been successively improved in a string of papers, with the state of the art requiring $Ω\left( N \left( \mbox{ poly} (\log T) ight) ight)$ communications. In this paper, we suggest a Local SGD scheme that communicates less overall by communicating less frequently as the number of iterations grows. Our analysis shows that this can achieve an error that scales as $1/(NT)$ with a number of communications that is completely independent of $T$. In particular, we show that $Ω(N)$ communications are sufficient. Empirical evidence suggests this bound is close to tight as we further show that $\sqrt{N}$ or $N^{3/4}$ communications fail to achieve linear speed-up in simulations. Moreover, we show that under mild assumptions, the main of which is twice differentiability on any neighborhood of the optimal solution, one-shot averaging which only uses a single round of communication can also achieve the optimal convergence rate asymptotically.

研究の動機と目的

• 並列な確率的勾配降下法（SGD）における通信オーバーヘッドを低減しつつ、ワーカー数に対する線形スケーリングを維持すること。
• 反復回数 $T$ に依存しない通信スケジューリングを分析することで、Local SGD における通信頻度と残差誤差のトレードオフを解消すること。
• 理論的境界を確立し、Local SGD において $\Omega(N)$ 回の通信で最適な収束速度 $1/(NT)$ を達成できることを示すこと。
• 最終的に1回だけ通信する「ワンショット平均化」が、同期型 SGD と同等の漸近的収束速度を達成できるかどうかを調査すること。

提案手法

• 反復回数の増加に伴い通信頻度を低下させる Local SGD の手法を提案し、収束と誤差蓄積のバランスを取るために、減少する学習率 $\eta_t = 2t/(t+1)^2$ を用いる。
• 強い凸性パラメータ $\mu$ と勾配ノイズ分散 $\sigma^2$ を含む再帰的不等式を用いて、期待誤差 $\mathbb{E}[\|\bar{\mathbf{x}}^t - \mathbf{x}^*\|]$ を分析し、積不等式を用いて誤差項を評価する。
• 初期誤差減衰（$S_1$）、ノイズ由来誤差（$S_2$）、残差誤差（$S_3$）の3つの成分に分けて解析し、$S_3 = o(1/k)$ かつ $S_2 \sim 1/k$ であることを示す。
• 誤差の時間的減衰を制御するため、不等式 $\prod_{l=t_1}^{t_2-1}(1 - \eta_l\mu) \leq (t_1/t_2)^2$ を用い、最終誤差率における $k$ 依存性を可能にする。
• ワンショット平均化の解析において、反復値の重み付き平均を用い、最適解の近傍での2回微分可能性と Polyak-Łojasiewicz 条件を仮定することで、漸近的線形スケーリングを示す。
• 2段階の解析を採用：初期の一時的段階（$t < t_0$）と漸近的段階（$t \geq t_0$）。$t_0$ は $\eta_t \approx 2t/(t+1)^2$ を満たすように選択され、収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 Local SGD は、反復回数 $T$ に依存しない通信回数で、最適な $1/(NT)$ の収束速度を達成できるか？
• RQ2 Local SGD がワーカー数 $N$ に対して線形スケーリングを達成するための最小通信回数は何か？
• RQ3 最終的に1回だけ通信する「ワンショット平均化」は、同期型 SGD と同等の漸近的収束速度を達成できるか？
• RQ4 局所的更新に起因する残差誤差は、通信頻度と反復回数にどのように依存するか？
• RQ5 どのような条件下でワンショット平均化がワーカー数に線形スケーリングを達成できるか？

主な発見

• 提案手法の Local SGD は、誤差率 $\mathbb{E}[\|\bar{\mathbf{x}}^k - \mathbf{x}^*\|^2] = \frac{4\sigma^2}{3N\mu^2 k} + o(1/k)$ を達成し、$T = k$ と置いた場合に最適な $1/(NT)$ スケーリングに一致する。
• この最適な収束速度を達成するには、合計反復回数 $T$ に依存しない $\Omega(N)$ 回の通信で十分であり、従来の方法が $\text{poly}(\log T)$ や $\sqrt{T}$ に比例するのと比べて顕著に改善されている。
• 実験結果から、$\sqrt{N}$ または $N^{3/4}$ 回の通信では線形スケーリングが達成できないことが示され、$\Omega(N)$ がほぼタイトである可能性を示唆している。
• ワンショット平均化は、2回微分可能かつ Polyak-Łojasiewicz 条件を満たすようなやや緩い仮定の下で、漸近的に線形スケーリングを達成する。
• 残差誤差項 $\nu^t$ が $o(1/t^2)$ の速度で減少することが示され、これにより $S_3$ 項が $o(1/k)$ として消えることが可能となり、最終収束速度の導出に不可欠である。
• 解析により、学習率 $\eta_t = 2t/(t+1)^2$ が誤差項 $S_1$ の十分な減衰を保証し、分散項 $S_2$ を制御して $1/k$ のレートを達成できることを確認した。