[논문 리뷰] Optimal Gradient Compression for Distributed and Federated Learning

Alyazeed Albasyoni, Mher Safaryan외 2명|arXiv (Cornell University)|2020. 10. 07.

Sparse and Compressive Sensing Techniques참고 문헌 40인용 수 36

한 줄 요약

이 논문은 분산 및 연합 학습에서 그래디언트 압축의 근본적인 속도-왜곡 trade-off를 분석하고, worst- 및 average-case 분석에서 하한에 근접하는 효율적인 압축기(Sparse Dithering 및 Spherical Compression)를 도입합니다.

ABSTRACT

Communicating information, like gradient vectors, between computing nodes in distributed and federated learning is typically an unavoidable burden, resulting in scalability issues. Indeed, communication might be slow and costly. Recent advances in communication-efficient training algorithms have reduced this bottleneck by using compression techniques, in the form of sparsification, quantization, or low-rank approximation. Since compression is a lossy, or inexact, process, the iteration complexity is typically worsened; but the total communication complexity can improve significantly, possibly leading to large computation time savings. In this paper, we investigate the fundamental trade-off between the number of bits needed to encode compressed vectors and the compression error. We perform both worst-case and average-case analysis, providing tight lower bounds. In the worst-case analysis, we introduce an efficient compression operator, Sparse Dithering, which is very close to the lower bound. In the average-case analysis, we design a simple compression operator, Spherical Compression, which naturally achieves the lower bound. Thus, our new compression schemes significantly outperform the state of the art. We conduct numerical experiments to illustrate this improvement.

연구 동기 및 목표

• 분산/연합 학습에서 그래디언트 압축의 속도-왜곡 trade-off를 동기 부여하고 형식화합니다.
• 왜곡이 주어졌을 때 벡터당 비트의 worst-case 및 average-case 하한을 특성화합니다.
• 고차원에서 거의 최적이고 실용적인 압축 연산자를 제안합니다.
• 압축이 반복 수렴 및 전체 통신량에 미치는 영향을 분석합니다.
• 통신-수렴 트레이드오프를 보여주는 실험적 검증을 제공합니다.

제안 방법

• 압축 연산자를 인코더–디코더 쌍으로 정의하고 이를 편향되지 않거나 수축적이며 엄격히 수축적인 클래스들로 분류합니다.
• 언제나 커뮤니케이션 압축의 불확실성 원리를 이용해 주어진 왜곡에 대해 필요한 비트의 worst-case 하한을 유도합니다.
• 준최적이고 효율적인 압축기인 Sparse Dithering을 구성하고 결정론적(편향된) 및 난수화된(편향되지 않음) 변형을 모두 분석합니다.
• 평균-케이스 최적 압축기로서의 Spherical Compression을 도입하고, 소정의 오버헤드 내에서 하한에 도달하는 경우를 보입니다.
• 이론적 경계 및 분산 최적화 작업에 대한 실험을 통해 기존 방법들과 비교합니다.

실험 결과

연구 질문

• RQ1 고차원에서 그래디언트 압축의 왜곡과 비트 사이의 근본적인 하한은 무엇인가?
• RQ2 이 하한을 거의 달성하면서도 계산적으로 효율적인 압축 연산자를 설계할 수 있는가?
• RQ3 압축 매개변수(왜곡 수준, 비트 예산)가 분산 학습의 반복 복잡도 및 전체 통신에 어떤 영향을 미치는가?
• RQ4 평균-케이스 측면에서 최적이고 기존 접근법보다 우수한 실용적 압축기가 있는가?
• RQ5 편향/비편향 압축기 간 수렴 및 통신 효율성의 트레이드오프는 어떠한가?

주요 결과

• 밀접한 점근적 하한은 b* (alpha, d) ≈ -log P(alpha, d) + log d + (1/2) log log d + e를 보이며, e가 작아 worst-case 설정에서 거의 최적임을 확립합니다.
• Sparse Dithering(SD)은 효율적인 인코딩으로 거의 최적의 worst-case 성능을 달성하고, 편향된 및 난수화된 변형에서 대역폭 감소를 크게 달성합니다.
• nu = 1/10인 Deterministic SD는 최대 30 + log d + 3.35 d 비트를 통신하고 이론적 최적값에서 1.69 d 비트 이내에 있습니다.
• 무작위화된 SD(Unbiased)는 기댓값에서 최대 30 + log d + (log 3 + 1/(2√ω)) d 비트를 달성하여 상당한 대역폭 절감을 가능하게 하며(일부 설정에서 약 9.9배)
• Spherical Compression(SC)은 평균-케이스 하한을 3비트 이내의 차이로 달성하여 평균 통신에 거의 최적화를 제공합니다.
• 실험은 핀치된 ridge 및 로지스틱 회귀 작업에서 수렴 거동을 유지하면서 통신량의 의미 있는 감소를 보여줍니다.