[논문 리뷰] Communication-Efficient Local Decentralized SGD Methods

Xiang Li, Wenhao Yang외 2명|arXiv (Cornell University)|2019. 10. 21.

Indoor and Outdoor Localization Technologies참고 문헌 56인용 수 28

한 줄 요약

이 논문은 비독립 동일 분포(non-i.i.d.) 데이터를 가진 비볼록 문제에서 수렴 보장을 제공하면서도, 로컬 업데이트와 분산형 SGD 단계 사이의 유연한 번갈아가는 방식을 允허하는 통신 효율적인 로컬 분산형 확률적 경사하강법인 LD-SGD를 제안한다. 이 프레임워크는 변수 단계 비율과 감쇠하는 로컬 업데이트 길이와 같은 적응형 업데이트 방식을 통해 통신 효율성을 향상시킨다.

ABSTRACT

Recently, the technique of local updates is a powerful tool in centralized settings to improve communication efficiency via periodical communication. For decentralized settings, it is still unclear how to efficiently combine local updates and decentralized communication. In this work, we propose an algorithm named as LD-SGD, which incorporates arbitrary update schemes that alternate between multiple Local updates and multiple Decentralized SGDs, and provide an analytical framework for LD-SGD. Under the framework, we present a sufficient condition to guarantee the convergence. We show that LD-SGD converges to a critical point for a wide range of update schemes when the objective is non-convex and the training data are non-identically independent distributed. Moreover, our framework brings many insights into the design of update schemes for decentralized optimization. As examples, we specify two update schemes and show how they help improve communication efficiency. Specifically, the first scheme alternates the number of local and global update steps. From our analysis, the ratio of the number of local updates to that of decentralized SGD trades off communication and computation. The second scheme is to periodically shrink the length of local updates. We show that the decaying strategy helps improve communication efficiency both theoretically and empirically.

연구 동기 및 목표

• 비독립 동일 분포 데이터를 가진 분산 최적화에서 통신과 계산의 균형을 맞추는 도전 과제를 해결하기 위해.
• 로컬 업데이트와 분산형 SGD 단계 사이의 임의의 업데이트 패턴을 지원하는 일반적인 알고리즘 프레임워크를 개발하기 위해.
• 일반적인 통신 패턴 하에서 비볼록 최적화에 대한 이론적 수렴 보장을 제공하기 위해.
• 모델 정확도를 희생시키지 않으면서 통신 효율성을 향상시키는 업데이트 전략을 설계하고 분석하기 위해.
• 실제로 동적 로컬 업데이트 길이와 단계 비율 제어와 같은 적응 전략의 효과를 입증하기 위해.

제안 방법

• I₁개의 로컬 업데이트와 I₂개의 분산형 SGD 단계를 번갈아 수행하는 메타알고리즘인 LD-SGD를 제안하여, 통신 패턴의 유연성을 확보한다.
• 네트워크 그래프의 스펙트럼 성질에 기반한 일반적인 업데이트 전략 하에서의 수렴을 분석하는 이론적 프레임워크를 도입한다.
• 기울기와 분산에 대한 온건한 가정 하에, 비볼록 목표 함수와 비독립 동일 분포 데이터에 대해 임계점으로의 수렴을 확립한다.
• 로컬 계산(I₁)과 통신(I₂) 사이의 트레이드오���을 분석하여, I₁/I₂ 비율이 높아지면 오차가 증가하고 테스트 정확도가 떨어짐을 보여준다.
• 로컬 업데이트 수 I₁을 주기적으로 반으로 줄이는 감쇠 전략을 제안하여 통신 효율성을 향상시킨다.
• 다중 GPU 환경에서 PyTorch와 MPI4Py를 사용하여 CIFAR-10, CIFAR-100, PTB 데이터셋에서 실험을 수행하여 이론적 결과를 검증한다.

실험 결과

연구 질문

• RQ1 로컬 업데이트가 있는 분산형 SGD에서 임의의 업데이트 전략을 지원하는 통합 프레임워크를 개발할 수 있는가?
• RQ2 비독립 동일 분포 데이터를 가진 비볼록 목표 함수에 대해 LD-SGD의 수렴을 보장하는 조건은 무엇인가?
• RQ3 로컬 업데이트 수 I₁과 분산형 단계 수 I₂의 비율(I₁/I₂)은 수렴과 최종 모델 정확도에 어떤 영향을 미치는가?
• RQ4 로컬 업데이트 길이에 대한 감쇠 전략이 이론적으로나 실증적으로 통신 효율성을 향상시킬 수 있는가?
• RQ5 통신 비용과 테스트 정확도 측면에서 기존 방법들인 PD-SGD와 D-SGD에 비해 LD-SGD는 어떻게 비교되는가?

주요 결과

• 비독립 동일 분포 데이터를 가진 비볼록 확률적 최적화 문제에서, 온건한 가정 하에 LD-SGD는 임계점으로 수렴한다.
• 로컬 업데이트 수 I₁과 분산형 단계 수 I₂의 비율(I₁/I₂)은 통신과 계산 간의 트레이드오프를 나타내며, 과도하게 높은 비율은 최종 테스트 정확도를 떨어뜨린다.
• 제안된 I₁에 대한 감쇠 전략은 이론적으로나 실증적으로나 통신 효율성을 향상시킨다.
• CIFAR-10과 CIFAR-100에서의 실험 결과, 동일한 통신 예산 하에서 적응형 업데이트 전략을 사용한 LD-SGD는 기준 방법보다 높은 테스트 정확도를 달성한다.
• LD-SGD의 잔차 오차 경계는 O((1−ρ)/L)이며, 이는 이전 연구의 O((1−ρ)/(√n L)) 경계보다 더 날카롭게, 더 나은 수렴 안정성을 나타낸다.
• 다중 GPU 환경에서의 GPU 간 통신은 실제 무선 통신 비용을 반영하며, LD-SGD는 이러한 환경에서 더욱 두드러진 이점을 보인다.