[논문 리뷰] Communication Compression for Decentralized Training

Hanlin Tang, Shaoduo Gan외 3명|arXiv (Cornell University)|2018. 03. 17.

Stochastic Gradient Optimization Techniques인용 수 185

한 줄 요약

이 논문은 교환되는 모델을 압축하면서 수렴성을 보존하는 두 가지 양자화된 분산 SGD 알고리즘(DCD-PSGD 및 ECD-PSGD)을 도입하여 O(1/√(nT))의 속도를 달성하고 CIFAR-10에서 ResNet-20으로 실험할 때 고지연 및 저대역폭에서 상당한 속도 향상을 보인다.

ABSTRACT

Optimizing distributed learning systems is an art of balancing between computation and communication. There have been two lines of research that try to deal with slower networks: {\em communication compression} for low bandwidth networks, and {\em decentralization} for high latency networks. In this paper, We explore a natural question: {\em can the combination of both techniques lead to a system that is robust to both bandwidth and latency?} Although the system implication of such combination is trivial, the underlying theoretical principle and algorithm design is challenging: unlike centralized algorithms, simply compressing exchanged information, even in an unbiased stochastic way, within the decentralized network would accumulate the error and fail to converge. In this paper, we develop a framework of compressed, decentralized training and propose two different strategies, which we call {\em extrapolation compression} and {\em difference compression}. We analyze both algorithms and prove both converge at the rate of $O(1/\sqrt{nT})$ where $n$ is the number of workers and $T$ is the number of iterations, matching the convergence rate for full precision, centralized training. We validate our algorithms and find that our proposed algorithm outperforms the best of merely decentralized and merely quantized algorithm significantly for networks with {\em both} high latency and low bandwidth.

연구 동기 및 목표

• 강건한 분산 학습을 통해 디센트럴라이제이션과 커뮤니케이션 압축을 결합하여 고지연 및 저대역폭 네트워크를 모두 다룰 수 있도록 하는 동기를 제시한다.
• 수렴 보장을 유지하는 두 개의 압축된 분산 SGD 알고리즘(DCD-PSGD 및 ECD-PSGD)을 개발한다.
• 특정 조건에서 중앙 집중식 학습과 매치되는 속도를 보여주는 이론적 수렴 분석을 제공한다.
• 제안된 방법이 순수하게 분산식 또는 순수하게 양자화된 접근 방식에 비해 도전적인 네트워크에서 더 우수하다는 것을 경험적으로 검증한다.

제안 방법

• n개 노드와 Lipschitz-Gradient 목적함수를 갖는 분산 최적화를 형식화한다.
• 두 가지 양자화된 분산SGD 알고리즘: DCD-PSGD (difference compression)와 ECD-PSGD (extrapolation compression)을 도입한다.
• 대칭 이중 확률적 행렬 W와 스펙트럼 간격 ρ, Lipschitz 그래디언트, 한정된 그래디언트 분산 σ²와 ζ², 신호대잡음 비 α를 갖는 무편향 확률적 압축 가정을 제시한다.
• DCD-PSGD의 경우 차이 z_t^(i) = x_t^(i+1/2) − x_t^(i)을 압축하고 이웃 모델의 복제본을 업데이트하여 정리된 수렴을 Theorem 1 및 Corollaries로 보장한다.
• ECD-PSGD의 경우 추정된 z-값을 사용해 이웃의 추정치를 전송하고 가정 2의 한정된 압축 노이즈에서 수렴을 증명하며 DCD-PSGD와 비슷한 속도를 달성하면서도 공격적 압축에 대한 강인성을 강화한다.
• 수렴 속도를 도출한다: 선두 항은 O(σ/√(nT))이고 ζ, α, ρ 및 γ를 포함하는 항도 있다; O(1/√(nT)) 전체 속도와 노드 수에 따른 선형 속도향상을 제공하는 corollaries를 제시한다.

실험 결과

연구 질문

• RQ1 분산 학습의 결합과 무편향 압축이 오류 누적 없이 수렴을 달성할 수 있는가?
• RQ2 압축된 분산 SGD의 수렴 속도는 어떤가? 중앙 집중식 및 비압축된 분산 기반 기준과 어떻게 비교되는가?
• RQ3 두 제안 전략(차이 압축과 추정 압축)이 다양한 네트워크 조건에서 강인성과 성능 측면에서 어떻게 다른가?
• RQ4 제안 방법들이 실용적 환경에서 노드 수에 대해 선형 속도 향상을 보여주는가?

주요 결과

• 두 가지 압축된 분산 SGD 알고리즘(DCD-PSGD 및 ECD-PSGD)이 수렴 속도가 대략 O(1/√(nT))인 것으로 확인된다.
• ECD-PSGD는 공격적 압축에 더 강인하고 DCD-PSGD는 노드 간 데이터 변화가 큰 경우 더 나은 속도를 낼 수 있지만 지나치게 공격적인 압축은 DCD-PSGD의 수렴을 방해할 수 있다.
• 주된 수렴 항은 중앙집중식 병렬 SGD와 일치하여 노드 수에 따른 선형 속도향상을 시사한다.
• 이론적 결과는 실험으로 보완되며, 분산형 저정밀 학습이 고지연 또는 저대역폭 네트워크에서 Allreduce를 능가할 수 있음을 보여준다.