[논문 리뷰] Asynchronous Decentralized SGD with Quantized and Local Updates

Giorgi Nadiradze, Amirmojtaba Sabour외 3명|arXiv (Cornell University)|2019. 10. 27.

Stochastic Gradient Optimization Techniques인용 수 23

한 줄 요약

이 논문은 이질적인 데이터 및 그래프 구조에서 수렴성을 보장하면서도, 양자화된 통신, 로컬 스텝, 비차단 업데이트를 지원하는 완전히 비동기적 게시 모델 기반의 이질적 분산 SGD 알고리즘인 SwarmSGD를 제안한다. 실제 실험에서는 대배치 SGD 수준의 성능을 달성하면서도 통신 비용을 크게 감소시켜 종합적인 훈련 성능이 뛰어나다.

ABSTRACT

Decentralized optimization is emerging as a viable alternative for scalable distributed machine learning, but also introduces new challenges in terms of synchronization costs. To this end, several communication-reduction techniques, such as non-blocking communication, quantization, and local steps, have been explored in the decentralized setting. Due to the complexity of analyzing optimization in such a relaxed setting, this line of work often assumes \emph{global} communication rounds, which require additional synchronization. In this paper, we consider decentralized optimization in the simpler, but harder to analyze, \emph{asynchronous gossip} model, in which communication occurs in discrete, randomly chosen pairings among nodes. Perhaps surprisingly, we show that a variant of SGD called \emph{SwarmSGD} still converges in this setting, even if \emph{non-blocking communication}, \emph{quantization}, and \emph{local steps} are all applied \emph{in conjunction}, and even if the node data distributions and underlying graph topology are both \emph{heterogenous}. Our analysis is based on a new connection with multi-dimensional load-balancing processes. We implement this algorithm and deploy it in a super-computing environment, showing that it can outperform previous decentralized methods in terms of end-to-end training time, and that it can even rival carefully-tuned large-batch SGD for certain tasks.

연구 동기 및 목표

• 비동기적 환경에서 양자화, 로컬 스텝, 비차단 통신을 지원하는 분산 SGD 알고리즘을 설계하는 것.
• 이상적인 데이터 분포 및 그래프 구조에서 이러한 방법의 수렴성을 증명하는 것.
• 이전의 분산 방법에서 스케일링을 제한하는 전역 동기화 라운드가 필요 없도록 하는 것.
• 기존의 분산 및 대배치 SGD 접근 방식보다 종합적인 훈련 효율성을 향상시키는 것.

제안 방법

• 각 노드는 양자화된 모델 업데이트를 저장하기 위한 공유 통신 버퍼를 사용하여 비차단적이고 동시에 가능한 쓰기 및 읽기를 가능하게 한다.
• 각 노드는 통신 이전에 H개의 로컬 기울기 스텝을 수행하여 통신 빈도와 동기화 오버헤드를 감소시킨다.
• 노드들은 무작위 이웃과 비동기적으로 짝을 이루며, 상대방의 버퍼에서 양자화된 모델을 읽고 평균을 내고, 그 평균값을 다시 상대방의 버퍼에 쓴다.
• 로컬 모델은 평균화된 양자화된 모델을 사용하여 업데이트되며, 새로운 모델은 다시 양자화되어 노드 자신의 버퍼에 쓰인다.
• 이 방법은 원자적 읽기/쓰기 연산과, 양자화 노이즈가 존재하더라도 수렴성을 유지하는 데 기여하는 특정한 양자화 기법에 의존한다.
• 새로운 이론적 분석을 통해 알고리즘을 다차원 부하 균형 프로세스와 연결하여 비동기성과 양자화 조건 하에서도 수렴성을 입증한다.

실험 결과

연구 질문

• RQ1 양자화, 로컬 스텝, 비차단 통신를 포함한 분산 SGD가 완전히 비동기적 게시 모델에서 수렴할 수 있는가?
• RQ2 이러한 방법의 수렴 행동은 데이터 이질성과 네트워크 구조에 어떻게 영향을 받는가?
• RQ3 제안된 방법이 동기화 또는 부분적으로 동기화된 분산 방법보다 종합적인 훈련 성능에서 더 나은 성능을 낼 수 있는가?
• RQ4 통신 빈도와 양자화는 훈련 속도와 모델 정확도에 어떤 영향을 미치는가?

주요 결과

• SwarmSGD는 동시적이고 비차단적인 통신, 양자화, 로컬 스텝 조건 하에서도 비동기적 게시 모델에서 수렴성을 달성한다.
• D-PSGD 및 SGP와 비교해 통신 비용을 최대 50%까지 감소시키며, 노드 수가 증가하더라도 통신 시간은 일정하게 유지된다.
• ResNet18/ImageNet에서 SwarmSGD는 대배치 SGD와 1% 이내의 정확도를 달성하면서 종합적인 훈련 시간을 줄였다.
• CIFAR-10에서 SwarmSGD의 양자화된 버전은 정확도가 0.3% 이하로 떨어지면서 약 10%의 속도 향상을 보였다.
• 256개의 노드에서도 수렴성과 정확도를 유지하여 강력한 확장성을 입증했다.
• 수렴은 모델당 에포크 수와 강하게 상관되며, 로컬 스텝 수의 영향은 상대적으로 약하다.