[논문 리뷰] Local SGD With a Communication Overhead Depending Only on the Number of Workers

Artin Spiridonoff, Alex Olshevsky외 1명|arXiv (Cornell University)|2020. 06. 03.

Advanced MIMO Systems Optimization참고 문헌 36인용 수 12

한 줄 요약

이 논문은 Local SGD를 위한 새로운 통신 전략을 제안하며, 총 반복 횟수 T에 관계없이 오직 Ω(n)개의 통신 라운드로만 이루어져도 선형적 속도 향상을 달성한다. 이로 인해 수렴 오차는 1/(nT) 비례로 스케일링된다. 초기에는 통신 간격을 동적으로 늘리고, 나중에는 줄여 잔류 오차를 최소화하면서 통신 오버헤드를 크게 줄인다. 이는 이전 방법들보다 우월한데, 이전 방법들은 다항로그 또는 √T 라운드를 요구했기 때문이다.

ABSTRACT

We consider speeding up stochastic gradient descent (SGD) by parallelizing it across multiple workers. We assume the same data set is shared among $n$ workers, who can take SGD steps and coordinate with a central server. Unfortunately, this could require a lot of communication between the workers and the server, which can dramatically reduce the gains from parallelism. The Local SGD method, proposed and analyzed in the earlier literature, suggests machines should make many local steps between such communications. While the initial analysis of Local SGD showed it needs $Ω( \sqrt{T} )$ communications for $T$ local gradient steps in order for the error to scale proportionately to $1/(nT)$, this has been successively improved in a string of papers, with the state-of-the-art requiring $Ω\left( n \left( \mbox{ polynomial in log } (T) ight) ight)$ communications. In this paper, we give a new analysis of Local SGD. A consequence of our analysis is that Local SGD can achieve an error that scales as $1/(nT)$ with only a fixed number of communications independent of $T$: specifically, only $Ω(n)$ communications are required.

연구 동기 및 목표

• 다수의 워커로 확장할 때 발생하는 높은 통신 비용을 해결하기 위해.
• 통신 스케줄링이 Local SGD의 수렴 오차에 미치는 영향을 분석하기 위해.
• 최적의 오차 스케일링을 달성하면서 최소한의 통신 라운드로 이루어지는 통신 전략을 설계하기 위해.
• 총 반복 횟수 T에 관계없이 오직 Ω(n)개의 통신만으로도 워커 수에 대한 선형적 속도 향상이 가능함을 보여주기 위해.
• 이전 연구들에서 요구한 Ω(√T) 또는 Ω(n poly-log(T))의 통신 라운드보다 개선된 성능을 달성하기 위해.

제안 방법

• 통신 간격이 반복 횟수 인덱스에 따라 선형적으로 증가하는 동적 통신 간격 전략을 제안함: H_i = 3(i+1).
• 비.i.i.d. 및 비동일 분포 데이터를 포함하는 일반적인 노이즈 모델 하에서 Local SGD를 분석함.
• 국소 업데이트와 통신 지연으로 인해 발생하는 잔류 오차를 근거로 하는 새로운 이론적 프레임워크를 도입함.
• 강凸성과 미끄러움 조건 하에서 수렴 속도가 1/(nT) 비례함을 도출함. 이 경우 오차는 T에 의존하지 않고 오직 n에만 의존함.
• 기울기가 크고 스텝 사이즈가 높은 초기 학습 단계에서 자주 평균화하는 것을 우선시하는 통신 스케줄을 도입함.
• 안정성과 수렴을 보장하기 위해 스텝 사이즈 시퀀스 η_t = 2/(μ(t+β))를 사용함.

실험 결과

연구 질문

• RQ1 Local SGD가 총 반복 횟수 T에 관계없이 통신 라운드 수가 T에 의존하지 않는 조건에서 최적의 오차 스케일링 1/(nT)를 달성할 수 있는가?
• RQ2 잔류 오차를 최소화하면서 통신 오버헤드를 줄이는 통신 스케줄링 전략은 무엇인가?
• RQ3 통신 빈도의 선택이 비凸 및 강凸 설정에서 수렴에 어떤 영향을 미치는가?
• RQ4 다항로그 또는 √T 라운드가 아닌 오직 Ω(n)개의 통신만으로도 워커 수에 대한 선형적 속도 향상을 달성할 수 있는가?
• RQ5 고정 또는 증가하는 간격 전략에 비해 동적 통신 간격 전략이 최종 오차와 통신 효율성 측면에서 더 우월한가?

주요 결과

• 제안된 통신 전략은 총 반복 횟수 T에 관계없이 오직 Ω(n)개의 통신 라운드로만 이루어져도 오차율 O(1/(nT))를 달성한다.
• 특히 통신이 제한된 조건에서, 고정 간격 전략 및 이전의 증가 간격 전략보다 일시적 오차와 최종 오차 모두에서 뛰어난 성능을 보인다.
• 수치 실험 결과, R = n개의 통신로 Local SGD가 다양한 네트워크 크기에서 선형적 속도 향상을 달성하며 이론적으로 최적의 속도 σ²/(μnT)를 재현함을 확인함.
• 동적 전략 H_i = 3(i+1)는 초기 단계에서 기울기가 더 크기 때문에 고정 간격 전략보다 더 효과적으로 초기 오차를 줄임.
• 일회성 평균화 전략에 비해 더 뛰어난 통신 효율성을 확보함. 일회성 평균화는 초기에 통신 이득을 얻지만, 최종 오차가 더 높기 때문이다.
• 특수 케이스인 일정한 H 값에 대해서는 최신 기술 수준의 수렴 속도를 회복하며, 다양한 노이즈 모델에 적용 가능한 일반적인 프레임워크를 제공함.