[논문 리뷰] Achieving the fundamental convergence-communication tradeoff with Differentially Quantized Gradient Descent

Chung-Yi Lin, Victoria Kostina외 1명|arXiv (Cornell University)|2020. 02. 06.

Stochastic Gradient Optimization Techniques참고 문헌 19인용 수 5

한 줄 요약

이 논문은 분산 학습에서 기본적인 수렴-통신 간 상호보완 관계를 달성하는 오차 보상이 포함된 양자화 방법인 차등 양자화 경사하강법(Differentially Quantized Gradient Descent, DQGD)을 제안한다. DQGD가 차원 수가 증가함에 따라 매끄럽고 강력凸인 함수에 대해 최적의 선형 수렴 속도를 달성함을 증명하며, 이는 간단한 경사하강 양자화가 이를 달성하지 못하는 것과 대비된다.

ABSTRACT

The problem of reducing the communication cost in distributed training through gradient quantization is considered. For gradient descent on smooth and strongly convex objective functions on $\mathbb{R}^n$, we characterize the fundamental rate function-the minimum achievable linear convergence rate for a given number of bits per dimension $n$. We propose Differentially Quantized Gradient Descent, a quantization algorithm with error compensation, and prove that it achieves the rate function as $n$ goes to infinity. In contrast, the naive quantizer that compresses the current gradient directly fails to achieve that optimal tradeoff. Experimental results on both simulated and real-world least-squares problems confirm our theoretical analysis.

연구 동기 및 목표

• 분산 최적화에서 통신 비용과 수렴 속도 간의 기본 상호보완 관계를 규명하는 것.
• 매끄럽고 강력凸 문제에서 경사하강의 각 차원에 대해 주어진 비트 수에 대해 달성 가능한 최소 선형 수렴 속도를 특정하는 것.
• 실제로 이 최적의 상호보완 관계를 달성하는 양자화 알고리즘을 설계하는 것.
• 간단한 양자화가 최적의 수렴-통신 상호보완 관계를 달성하지 못하는 실패 원인을 입증하는 것.

제안 방법

• 수렴 오차를 줄이기 위해 오차 보상을 통합한 양자화 알고리즘인 차등 양자화 경사하강법(Differentially Quantized Gradient Descent, DQGD)을 제안한다.
• 차등 양자화 방식을 사용하여 한 반복에서 발생한 양자화 오차를 다음 반복에서 누적 및 보정함으로써 수렴 성능을 향상시킨다.
• R^n에서 매끄럽고 강력凸 목적 함수 하에서 DQGD의 수렴 행동을 분석한다.
• 주어진 차원당 비트 수에 대해 달성 가능한 최소 선형 수렴 속도를 나타내는 기본 속도 함수를 유도한다.
• DQGD가 차원 n이 무한대에 가까워질수록 이 기본 속도 함수에 점점 수렴함을 증명한다.

실험 결과

연구 질문

• RQ1 분산 경사하강에서 통신 비용과 수렴 속도 간의 기본 상호보완 관계는 무엇인가?
• RQ2 주어진 경사하강 차원당 비트 수에 대해 최적의 수렴 속도를 달성할 수 있는 양자화 방법을 설계할 수 있는가?
• RQ3 왜 간단한 경사하강 양자화가 최적의 상호보완 관계를 달성하지 못하는가?
• RQ4 양자화에서 오차 보상은 분산 학습의 수렴에 어떤 영향을 미치는가?

주요 결과

• DQGD는 차원 n이 무한대에 가까워질수록 매끄럽고 강력凸 함수에 대해 기본 속도 함수—즉, 달성 가능한 최소 선형 수렴 속도—를 달성한다.
• 제안된 방법은 통신 비용과 수렴 속도 간 최적의 상호보완 관계를 점점 수렴하며, 간단한 양자화보다 뛰어난 성능을 발휘한다.
• 현재 경사하강을 직접 압축하는 간단한 양자화 방법은 최적의 수렴-통신 상호보완 관계를 달성하지 못한다.
• 모의 및 실제 최소 제곱 문제에서의 실험 결과는 이론적 분석을 검증하며, DQGD가 더 향상된 수렴 성능을 보임을 확인한다.