[논문 리뷰] Local SGD with Periodic Averaging: Tighter Analysis and Adaptive Synchronization

Farzin Haddadpour, Mohammad Mahdi Kamani외 2명|arXiv (Cornell University)|2019. 10. 30.

Reinforcement Learning in Robotics인용 수 92

한 줄 요약

본 논문은 PL 조건하에서 주기적 모델 평균화가 있는 Local SGD의 수렴 분석을 강화하고, O((pT)^{1/3}) 통신 라운드에서 선형 속도 증가를 보이며, 적응적 동기화 스킴을 도입한다.

ABSTRACT

Communication overhead is one of the key challenges that hinders the scalability of distributed optimization algorithms. In this paper, we study local distributed SGD, where data is partitioned among computation nodes, and the computation nodes perform local updates with periodically exchanging the model among the workers to perform averaging. While local SGD is empirically shown to provide promising results, a theoretical understanding of its performance remains open. We strengthen convergence analysis for local SGD, and show that local SGD can be far less expensive and applied far more generally than current theory suggests. Specifically, we show that for loss functions that satisfy the Polyak-Łojasiewicz condition, $O((pT)^{1/3})$ rounds of communication suffice to achieve a linear speed up, that is, an error of $O(1/pT)$, where $T$ is the total number of model updates at each worker. This is in contrast with previous work which required higher number of communication rounds, as well as was limited to strongly convex loss functions, for a similar asymptotic performance. We also develop an adaptive synchronization scheme that provides a general condition for linear speed up. Finally, we validate the theory with experimental results, running over AWS EC2 clouds and an internal GPU cluster.

연구 동기 및 목표

• 분산된 경험적 위험 최소화를 위해 Local SGD와 주기적 평균화를 활용하여 통신 오버헤드를 줄이는 것을 동기화하고 분석한다.
• PL 조건하에서 비볼록 문제에 대해 더 날카로운 수렴 속도를 제공하여 선형 속도 증가를 가능하게 한다.
• 배치/통신 빈도를 결정하는 적응적 동기화 스킴을 도입한다.
• AWS EC2 및 GPU 클러스터에서 실험으로 이론적 결과를 검증한다.

제안 방법

• 모델 업데이트는 고정된 평균화 주기 tau 동안 로컬에서 수행된 다음 모델 평균화 통신 라운드(LUPA-SGD(tau))가 수행된다.
• 편향되지 않은 확률적 그래디언트와 한정된 분산 및 L-매끈함(L-smoothness)과 Polyak-Łojasiewicz(PL) 조건을 가정한다.
• tau = O(T^{2/3}/p^{1/3}) 하에서 E[F(x_bar^{(T)})-F*] = O(1/(pBT)) 를 보이는 수렴 경계를 도출한다.
• 현재 목적함수 간격 F(x_bar^{(i tau_0)})-F*를 기반으로 tau_i를 적응적으로 선택하여 선형 속도 증가를 유지하는 ADA-LUPA-SGD를 제안한다.
• 이전의 local-SGD 분석과의 비교를 제공하고 어떻게 더 약한 가정이 더 촘촘한 속도를 도출하는지 설명한다.

실험 결과

연구 질문

• RQ1 비볼록 PL 조건하에서 주기적 평균화가 있는 Local SGD가 더 적은 통신 라운드로 선형 속도 증가를 달성할 수 있는가?
• RQ2 선형 속도 증가를 유지하기 위한 로컬 업데이트 tau의 가장 타이트한 경계는 무엇인가?
• RQ3 적응적 동기화 스킴이 이론적 보장을 유지하면서 실용적 성능을 향상시키는가?
• RQ4 PL 및 매끈함 가정이 구속된 그래디언트/분산 가정과 비교하여 더 빠른 수렴을 얻는 데 어떤 차이가 있는가?
• RQ5 클라우드 및 GPU 클러스터에서의 실험 결과가 이론적 이득과 일치하는가?

주요 결과

• 비볼록 목표에서 PL 아래, O((pT)^{1/3}) 통신 라운드로 선형 속도 증가를 달성하고 오차는 O(1/(pT))이다.
• tau = O(T^{2/3}/p^{1/3}) 및 고정 미니배치 B일 때 방법은 O(1/(pBT)) 오차를 달성한다.
• 합리적 조건에서 적응적 동기화 스킴(ADA-LUPA-SGD)은 선형 속도 증가를 유지하며 고정 주기적 평균화보다 우수할 수 있다.
• Bounded-gradient 가정을 제거하면 적용 범위가 넓어지며 여전히 이전 연구보다 향상된 통신 효율성을 보인다.
• AWS EC2 및 내부 GPU 클러스터에서의 실험은 이론적 개선을 검증하고 실용적 속도향상을 보인다.