[논문 리뷰] Cooperative SGD: A unified Framework for the Design and Analysis of Communication-Efficient SGD Algorithms

Jianyu Wang, Gauri Joshi|arXiv (Cornell University)|2018. 08. 22.

Stochastic Gradient Optimization Techniques참고 문헌 46인용 수 176

한 줄 요약

본 논문은 Cooperative SGD를 제시한다, 주기적 평균화, 탄력적 평균화, 분산 SGD를 하나로 통합하는 프레임워크이며, 비볼록 최적화에 대한 수렴 보장을 제공하고 새로운 통신 효율적 SGD 변형의 설계를 안내한다.

ABSTRACT

Communication-efficient SGD algorithms, which allow nodes to perform local updates and periodically synchronize local models, are highly effective in improving the speed and scalability of distributed SGD. However, a rigorous convergence analysis and comparative study of different communication-reduction strategies remains a largely open problem. This paper presents a unified framework called Cooperative SGD that subsumes existing communication-efficient SGD algorithms such as periodic-averaging, elastic-averaging and decentralized SGD. By analyzing Cooperative SGD, we provide novel convergence guarantees for existing algorithms. Moreover, this framework enables us to design new communication-efficient SGD algorithms that strike the best balance between reducing communication overhead and achieving fast error convergence with low error floor.

연구 동기 및 목표

• 로컬 업데이트와 주기적 동기화를 가능하게 하여 통신 효율적인 분산 SGD를 동기부여하고 분석한다.
• 기존 방법들(PASGD, EASGD, D-PSGD)을 포괄하는 통일된 수렴 프레임워크를 제공한다.
• 통신 감소 매개변수 tau, W, v가 수렴성과 오차 바닥에 미치는 영향을 규명한다.
• 속도와 최종 수렴 오차의 균형을 맞추기 위한 매개변수 선택의 모범 사례를 도출한다.
• Cooperative SGD 프레임워크 내 전략을 결합하여 새로운 변형을 제안한다.

제안 방법

• 로컬 모델과 v 보조 변수들을 갖는 A(tau, W, v)로 Cooperative SGD를 정의한다.
• 업데이트 규칙 X_{k+1} = (X_k - eta G_k) W_k를 표현하고 평균화 스케줄 W_k를 명확히 한다.
• PASGD, EASGD, D-PSGD가 특정 A(tau, W, v)에 어떻게 매핑되는지 보인다.
• 비볼록 목적함수에 대한 표준 가정하에 통일된 수렴 분석을 도출한다.
• tau와 W의 고유값에 따라 네트워크 오차가 달라진다는 닫힌 형태의 오차 바닥 한계를 제시한다.
• EASGD의 최적의 alpha를 분석하고 분산형 주기적 평균화 및 일반화된 탄력 평균화와 같은 변형을 도입한다.

실험 결과

연구 질문

• RQ1 로컬 업데이트 기간(tau)과 네트워크 혼합(W)이 cooperative SGD의 수렴 및 최종 오차 바닥에 어떤 영향을 미치는가?
• RQ2 비볼록 목표하에서 PASGD, EASGD, D-PSGD를 하나의 통일 프레임워크로 포착하고 분석할 수 있는가?
• RQ3 오차 바닥 최소화를 위한 EASGD의 최적 탄력 매개변수 alpha는 무엇인가?
• RQ4 보조 변수(v)가 효과 학습률과 수렴 속도에 어떻게 영향을 주는가?
• RQ5 Cooperative SGD에서 동기화와 평균화 전략을 결합했을 때 어떤 새로운 알고리즘 설계가 도출되는가?

주요 결과

• cooperative SGD 클래스에 대한 통일된 수렴 보장이 확립되어 tau, W, v가 오차 바닥에 어떤 영향을 미치는지 보여준다.
• Elastic-averaging SGD를 비볼록 목적함수에 대해 분석하고 오차 바닥을 최소화하는 최적의 alpha에 대한 지침을 제공한다.
• 균일하게 유계된 그래디언트 가정을 제거하고 i.i.d. 데이터가 있는 FedAvg에 적용된다.
• 이 프레임워크는 PASGD, EASGD, D-PSGD 간의 정량적 비교를 가능하게 하고 새로운 변형의 설계를 지원한다.
• 환경 제약 하에서 수렴을 개선할 수 있는 분산형 주기적 평균화 및 일반화된 탄력 평균화와 같은 새로운 설계가 있다.