[논문 리뷰] Optimal Gradient Quantization Condition for Communication-Efficient Distributed Training

An Xu, Zhouyuan Huo외 1명|arXiv (Cornell University)|2020. 02. 25.

Sparse and Compressive Sensing Techniques참고 문헌 37인용 수 4

한 줄 요약

이 논문은 이진 및 다중 수준 압축을 위한 최적의 양자화 수준을 기울기 분포에 기반해 동적으로 결정하는 새로운 기울기 양자화 기법인 BinGrad와 ORQ를 제안한다. 이는 양자화 분산을 최소화한다. CIFAR 및 ImageNet에서의 실험 결과, 특히 공격적인 양자화 및 분산 학습 환경에서 더 낮은 통신 비용으로 뛰어난 모델 정확도를 달성한다.

ABSTRACT

The communication of gradients is costly for training deep neural networks with multiple devices in computer vision applications. In particular, the growing size of deep learning models leads to higher communication overheads that defy the ideal linear training speedup regarding the number of devices. Gradient quantization is one of the common methods to reduce communication costs. However, it can lead to quantization error in the training and result in model performance degradation. In this work, we deduce the optimal condition of both the binary and multi-level gradient quantization for extbf{ANY} gradient distribution. Based on the optimal condition, we develop two novel quantization schemes: biased BinGrad and unbiased ORQ for binary and multi-level gradient quantization respectively, which dynamically determine the optimal quantization levels. Extensive experimental results on CIFAR and ImageNet datasets with several popular convolutional neural networks show the superiority of our proposed methods.

연구 동기 및 목표

• 특정 기울기 분포를 가정하지 않고 기울기 압축을 위한 최적의 양자화 조건을 유도하는 것.
• 실시간 기울기 통계에 기반해 양자화 수준을 동적으로 적응시키는 실용적인 양자화 기법을 설계하는 것.
• 분산 딥 러닝 학습에서 기인하는 양자화에 의한 분산과 편향을 최소화하는 것.
• 특히 공격적인 압축 조건에서 더 낮은 통신 오버헤드로 향상된 모델 성능을 달성하는 것.
• 단일 머신 및 다중 워커 분산 환경 모두에서 방법의 타당성을 검증하는 것.

제안 방법

• 특정 분포를 가정하지 않고 전체 기울기 분포를 사용하여 이중 및 다중 수준 기울기 양자화의 최적 양자화 조건을 유도한다.
• 이진 양자화를 위한 BinGrad-b와 BinGrad-pb를 제안하며, 분산-편향 트레이드오프에서 다름: BinGrad-b는 분산을 최소화하고, BinGrad-pb는 더 넓은 범위로 편향을 줄인다.
• 다중 수준 양자화를 위한 ORQ(Optimized Random Quantization)를 도입하며, 기대 양자화 분산을 최소화하는 데 목적이 있는 탐욕 알고리즘을 사용해 양자화 수준을 선택한다.
• 기울기 기대값을 유지하고 오차를 줄이기 위해 학습된 임계값을 사용한 무작위 반올림을 적용한다.
• 특히 양자화 수준이 적은 ORQ의 성능 향상을 위해 분산 환경에서 기울기 클리핑을 적용한다.
• 고정 크기의 청크(예: d=512)로 나누어 기울기 압축을 수행함으로써 버킷당 통신 비용을 줄인다.

실험 결과

연구 질문

• RQ1 어떤 기울기 분포에 대해서든 이중 기울기 양자화의 최적 조건은 무엇인가?
• RQ2 가우스 또는 라플라스 분포를 가정하지 않고 다중 수준 기울기 양자화를 어떻게 최적화할 수 있는가?
• RQ3 동적이고 분포 인식 기반의 양자화 수준은 QSGD나 TernGrad와 같은 고정 수준 기반 기법보다 우월한가?
• RQ4 공격적인 압축 및 제한된 대역폭을 가진 분산 학습 환경에서 제안된 방법은 어떻게 성능을 발휘하는가?
• RQ5 기본 기법 대비 통신 오버헤드를 줄이면서도 모델 정확도를 유지할 수 있는가?

주요 결과

• 클리핑 없이 대용량 배치 설정에서 ORQ는 CIFAR-10/100에서 기준 기법 대비 최상위 1% 정확도를 0.36%에서 2.85%까지 높였다.
• 버킷 크기를 128에서 32768로 늘일 때 ORQ는 테스트 정확도가 4.58%만 저하되었고, 기준 기법은 5.23% 저하되어 더 높은 강건성을 보였다.
• ImageNet에서 ORQ-5와 ORQ-9는 정확도가 FP 기울기와 0.8% 이내로 유지되었으며, ORQ-3는 QSGD-5 및 QSGD-9 성능과 동일했다.
• 압축 비율을 20.2에서 10.1로 줄였을 때 ORQ는 최상위 1% 정확도를 1.47% 향상시켰고, 기준 기법은 0.95% 향상에 그쳤다. 이는 더 높은 효율성을 보여준다.
• BinGrad-b는 BinGrad-pb보다 낮은 양자화 오차를 기록했으며, 클리핑이 없는 조건에서 양자화 수준이 3인 기법보다 테스트 정확도에서 뛰어났다.
• 제안된 기법은 공격적인 양자화 조건에서도 높은 성능을 유지하며, 분산 학습에서의 통신 제약 조건에 대한 내성까지 입증했다.