[논문 리뷰] Communication-efficient SGD: From Local SGD to One-Shot Averaging

Artin Spiridonoff, Alex Olshevsky외 1명|arXiv (Cornell University)|2021. 06. 09.

Stochastic Gradient Optimization Techniques참고 문헌 41인용 수 8

한 줄 요약

이 논문은 총 반복 횟수 $T$ 와 무관하게 $\Omega(N)$회의 통신만으로도 최적의 수렴 속도 $1/(NT)$를 달성하는 통신 효율적인 로컬 SGD 변종을 제안한다. 또한, 약간의 부드러움 조건 하에 한 번의 평균화(단일 통신 라운드)만으로도 점차적으로 선형 속도 향상이 가능하다는 것을 보이며, 이는 이전 방법들이 $\text{poly}(\log T)$ 또는 $\sqrt{T}$ 비례로 통신 라운드를 요구했던 것과 비교해 통신 오버헤드를 크게 감소시킨다.

ABSTRACT

We consider speeding up stochastic gradient descent (SGD) by parallelizing it across multiple workers. We assume the same data set is shared among $N$ workers, who can take SGD steps and coordinate with a central server. While it is possible to obtain a linear reduction in the variance by averaging all the stochastic gradients at every step, this requires a lot of communication between the workers and the server, which can dramatically reduce the gains from parallelism. The Local SGD method, proposed and analyzed in the earlier literature, suggests machines should make many local steps between such communications. While the initial analysis of Local SGD showed it needs $Ω( \sqrt{T} )$ communications for $T$ local gradient steps in order for the error to scale proportionately to $1/(NT)$, this has been successively improved in a string of papers, with the state of the art requiring $Ω\left( N \left( \mbox{ poly} (\log T) ight) ight)$ communications. In this paper, we suggest a Local SGD scheme that communicates less overall by communicating less frequently as the number of iterations grows. Our analysis shows that this can achieve an error that scales as $1/(NT)$ with a number of communications that is completely independent of $T$. In particular, we show that $Ω(N)$ communications are sufficient. Empirical evidence suggests this bound is close to tight as we further show that $\sqrt{N}$ or $N^{3/4}$ communications fail to achieve linear speed-up in simulations. Moreover, we show that under mild assumptions, the main of which is twice differentiability on any neighborhood of the optimal solution, one-shot averaging which only uses a single round of communication can also achieve the optimal convergence rate asymptotically.

연구 동기 및 목표

• 작업자 수에 대한 선형 속도 향상을 유지하면서 병렬 확률적 경사하강법(SGD)의 통신 오버헤드를 줄이는 것.
• 로컬 SGD에서 통신 빈도와 잔류 오차 사이의 상충 관계를 해결하기 위해 반복 횟수 $T$ 와 독립적으로 스케일링되는 통신 스케줄을 분석하는 것.
• 로컬 SGD에서 최적의 수렴 속도 $1/(NT)$를 달성하기 위해 $\Omega(N)$회의 통신이 충분하다는 이론적 경계를 설정하는 것.
• 마지막에 한 번만 통신하는 '한 번 평균화' 방식이 동기화된 SGD와 동일한 점차적 수렴 속도를 달성할 수 있는지 조사하는 것.

제안 방법

• 반복 횟수가 증가함에 따라 통신 빈도를 감소시키는 로컬 SGD 기법을 제안하며, 수렴과 오차 누적 간 균형을 이루기 위해 감소하는 학습률 $\eta_t = 2t/(t+1)^2$를 사용한다.
• 강凸성 매개수 $\mu$와 경사 노이즈 분산 $\sigma^2$를 포함한 재귀 부등식을 사용하여 기대 오차 $\mathbb{E}[\|\bar{\mathbf{x}}^t - \mathbf{x}^*\|]$를 분석하며, 오차 항은 곱 부등식을 통해 유계화된다.
• 세 가지 구성요소에 대한 경계를 유도한다: 초기 오차 감쇠($S_1$), 분산 유도 오차($S_2$), 잔류 오차($S_3$), 이때 $S_3 = o(1/k)$ 이고 $S_2 \sim 1/k$ 임을 보여준다.
• 오차의 시간에 따른 감쇠를 제어하기 위해 $\prod_{l=t_1}^{t_2-1}(1 - \eta_l\mu) \leq (t_1/t_2)^2$ 를 사용하여 최종 오차율에서 $k$-의존성을 가능하게 한다.
• 한 번 평균화 분석에서 반복값의 가중 평균을 적용하여, 이중 미분 가능성과 Polyak-Łojasiewicz 조건 하에 점차적으로 선형 속도 향상을 입증한다.
• 두 단계 분석을 적용한다: 초기 일시적 단계($t < t_0$)와 점차적 단계($t \geq t_0$), 여기서 $t_0$ 는 $\eta_t \approx 2t/(t+1)^2$ 가 수렴을 보장하도록 선택된다.

실험 결과

연구 질문

• RQ1 로컬 SGD가 반복 횟수 $T$ 와 무관하게 통신 횟수에 따라 $1/(NT)$ 최적 수렴 속도를 달성할 수 있는가?
• RQ2 로컬 SGD가 작업자 수 $N$ 에 대해 선형 속도 향상을 달성하기 위해 필요한 최소 통신 횟수는 얼마인가?
• RQ3 마지막에 한 번만 통신하는 '한 번 평균화' 방식이 동기화된 SGD와 동일한 점차적 수렴 속도를 달성하는가?
• RQ4 로컬 업데이트에서 발생하는 잔류 오차는 통신 빈도와 반복 횟수에 따라 어떻게 스케일링되는가?
• RQ5 어떤 조건에서 한 번 평균화가 작업자 수에 대해 선형 속도 향상을 제공하는가?

주요 결과

• 제안된 로컬 SGD 기법은 오차율 $\mathbb{E}[\|\bar{\mathbf{x}}^k - \mathbf{x}^*\|^2] = \frac{4\sigma^2}{3N\mu^2 k} + o(1/k)$ 을 달성하며, 이는 $T = k$ 반복 횟수에서 최적의 $1/(NT)$ 스케일링을 그대로 유지한다.
• 이 최적의 수렴 속도를 달성하기 위해 오직 $\Omega(N)$회의 통신만 필요하며, 총 반복 횟수 $T$ 와 무관하다. 이는 이전의 $\text{poly}(\log T)$ 또는 $\sqrt{T}$ 비례로 증가하는 경계에 비해 크게 향상된 결과이다.
• 실험 결과 $\sqrt{N}$ 또는 $N^{3/4}$회의 통신는 선형 속도 향상을 달성하지 못함을 보이며, 이는 $\Omega(N)$가 거의 최적에 가깝다는 것을 시사한다.
• 한 번 평균화가 약간의 조건 하에 점차적으로 선형 속도 향상을 달성함을 입증하였으며, 이 조건에는 최적 해 주변에서의 이중 미분 가능성과 Polyak-Łojasiewicz 조건이 포함된다.
• 잔류 오차 항 $\nu^t$ 가 $o(1/t^2)$ 로 감쇠함을 입증하여 $S_3$ 항이 $o(1/k)$ 로 사라지게 하였으며, 이는 최종 수렴 속도에 있어 핵심적인 역할을 한다.
• 분석을 통해 학습률 $\eta_t = 2t/(t+1)^2$ 가 오차 항 $S_1$ 의 충분한 감쇠를 보장하고, 분산 항 $S_2$ 를 제어하여 $1/k$ 수렴 속도를 달성함을 확인하였다.