[논문 리뷰] Moniqua: Modulo Quantized Communication in Decentralized SGD

Yucheng Lu, Christopher De|arXiv (Cornell University)|2020. 02. 26.

Stochastic Gradient Optimization Techniques참고 문헌 49인용 수 6

한 줄 요약

Moniqua는 수신률이 높고 메모리가 필요 없는 1비트 양자화 통신을 가능하게 하는 분산형 확률적 경사 하강법(Stochastic Gradient Descent, SGD)을 위한 기법으로, 모듈로 산술을 활용해 수렴 속도를 저하시키지 않은 채 1비트 양자화 통신을 구현한다. 이 기법은 메모리가 추가로 필요로 하지 않으며 임의의 양자화기와 비상수 단계 크기를 지원하면서도, 전체 정밀도 분산형 SGD와 동일한 渐진 수렴 속도를 보장한다.

ABSTRACT

Running Stochastic Gradient Descent (SGD) in a decentralized fashion has shown promising results. In this paper we propose Moniqua, a technique that allows decentralized SGD to use quantized communication. We prove in theory that Moniqua communicates a provably bounded number of bits per iteration, while converging at the same asymptotic rate as the original algorithm does with full-precision communication. Moniqua improves upon prior works in that it (1) requires zero additional memory, (2) works with 1-bit quantization, and (3) is applicable to a variety of decentralized algorithms. We demonstrate empirically that Moniqua converges faster with respect to wall clock time than other quantized decentralized algorithms. We also show that Moniqua is robust to very low bit-budgets, allowing 1-bit-per-parameter communication without compromising validation accuracy when training ResNet20 and ResNet110 on CIFAR10.

연구 동기 및 목표

• 양자화된 통신을 분산형 SGD에 적용할 때, 간단한 양자화가 모델 매개변수 차이의 감소가 없는 상태에서 수렴 속도를 떨어뜨리는 문제를 해결하기 위해.
• 메모리 사용량을 늘리지 않고도 극단적인 저비트 양자화(예: 1비트)를 지원할 수 있는 방법을 설계하기 위해.
• 편향된 양자화기와 비상수 단계 크기를 사용하는 상황에서도 전체 정밀도 분산형 SGD와 동일한 渐진 수렴 속도를 확보하기 위해.
• 이전 방법에서 높은 메모리 오버헤드를 유발하는 오차 추적기나 모델 복제본이 필요 없도록 제거하기 위해.
• 저대역폭 및 고지연 네트워크 조건과 같은 실용적 제약 조건 하에서 양자화된 분산 훈련의 견고성과 확장성을 입증하기 위해.

제안 방법

• Moniqua는 모델 매개변수 차이의 모듈로 값만 전송함으로써 모듈로 산술을 활용한다. 이는 수렴에 가까워질수록 차이가 감소하기 때문이다.
• 이론적 경계를 활용한다. 즉, |x - y| < θ 이면, x는 (x mod 2θ - y mod 2θ) mod 2θ + y로부터 재구성될 수 있으며, 이는 비트 요구량을 감소시킨다.
• 혼합 시간 t_mix와 경사 노름 경계를 이용해 작업자 간 매개변수 차이에 대한 경계 θ를 동적으로 유지한다.
• D-PSGD, D², AD-PSGD와 같은 다양한 분산 알고리즘에 적용 가능하며, 전체 정밀도 변형과 동일한 조건에서 수학적 수렴 보장을 제공한다.
• 오차 추적기나 모델 복제를 피함으로써 추가 메모리 비용이 전혀 발생하지 않는다.
• 알고리즘은 모듈로 연산을 통해 값들을 유한 집합으로 매핑하는 양자화기를 사용하여, 각 반복에서 통신 비트 수가 제한됨을 보장한다.

실험 결과

연구 질문

• RQ1 양자화된 통신이 분산형 SGD에 효과적으로 적용될 수 있는가? 이는 수렴 속도를 떨어뜨리지 않는가?
• RQ2 1비트 양자화가 분산 훈련에서 수렴성과 정확도를 유지하면서 사용될 수 있는가?
• RQ3 양자화된 분산 훈련에서 추가 메모리 없이 전체 정밀도 수렴 속도를 달성할 수 있는가?
• RQ4 이전 방법과 달리 비상수 단계 크기와 편향된 양자화기를 사용할 수 있는가?
• RQ5 저대역폭 또는 고지연 네트워크 조건에서 Moniqua는 어떻게 확장되는가?

주요 결과

• Moniqua는 1비트 양자화를 사용하더라도 전체 정밀도 분산형 SGD와 동일한 渐진 수렴 속도를 달성한다.
• 실험 결과 Moniqua가 동일한 양자화기를 사용한 다른 양자화된 분산 알고리즘보다 벽시계 시간 기준으로 더 빨리 수렴함을 보였다.
• Moniqua는 ResNet20과 ResNet110를 사용해 CIFAR10에서 검증 정확도를 유지하면서도 매개변수당 오직 1비트만을 사용한다.
• 매우 낮은 비트 예산 조건에서도 성능 저하 없이 견고하게 작동하며, 1비트 정밀도에서 성능 저하 없이 기능한다.
• 이전 방법과 달리 Moniqua는 추가 메모리가 필요하지 않으며, 오차 추적기나 복제 모델이 모델 크기와 그래프 크기에 비례해 증가하는 문제를 피한다.
• 이론적 분석을 통해 Moniqua의 통신 비용이 모델 크기나 네트워크 구조와 관계없이 반복마다 수학적으로 유한함을 입증했다.