[논문 리뷰] Nested Dithered Quantization for Communication Reduction in Distributed Training

Afshin Abdi, Faramarz Fekri|arXiv (Cornell University)|2019. 04. 01.

Stochastic Gradient Optimization Techniques인용 수 6

한 줄 요약

이 논문은 분산 딥러닝에서의 통신 오버헤드를 줄이기 위해 딜레이티드 양자화(DQSG)와 네스티드 딜레이티드 양자화(NDQSG)를 제안한다. 양자화 이전에 제어된 딜레이트를 기울여 그라디언트에 추가함으로써 DQSG는 양자화 오차가 그라디언트에 의존하지 않음을 보장하여 안정적인 수렴을 가능하게 한다. NDQSG는 서로 다른 워커 간의 그라디언트 상관관계를 활용하여 성능 손실 없이 비트 수를 30% 감소시키며, 정확도와 수렴 속도 면에서 원-비트 및 QSGD 방법을 능가한다.

ABSTRACT

In distributed training, the communication cost due to the transmission of gradients or the parameters of the deep model is a major bottleneck in scaling up the number of processing nodes. To address this issue, we propose \\emph{dithered quantization} for the transmission of the stochastic gradients and show that training with \\emph{Dithered Quantized Stochastic Gradients (DQSG)} is similar to the training with unquantized SGs perturbed by an independent bounded uniform noise, in contrast to the other quantization methods where the perturbation depends on the gradients and hence, complicating the convergence analysis. We study the convergence of training algorithms using DQSG and the trade off between the number of quantization levels and the training time. Next, we observe that there is a correlation among the SGs computed by workers that can be utilized to further reduce the communication overhead without any performance loss. Hence, we develop a simple yet effective quantization scheme, nested dithered quantized SG (NDQSG), that can reduce the communication significantly \\emph{without requiring the workers communicating extra information to each other}. We prove that although NDQSG requires significantly less bits, it can achieve the same quantization variance bound as DQSG. Our simulation results confirm the effectiveness of training using DQSG and NDQSG in reducing the communication bits or the convergence time compared to the existing methods without sacrificing the accuracy of the trained model.

연구 동기 및 목표

• 모델 정확도를 훼손하지 않으면서 분산 딥러닝 학습에서의 통신 오버헤드를 줄이기.
• 기존의 양자화 방법에서 양자화 오차가 입력 그라디언트에 의존하는 한계를 해결하여 수렴 분석을 복잡하게 만들지 않기.
• 다른 워커에서 유도된 확률적 그라디언트 간의 상관관계를 활용하여 추가로 통신 비트를 줄이기.
• 동기 및 이방형 학습 프레임워크 모두와 호환되는 확장 가능한 저비트 양자화 기법 개발하기.

제안 방법

• 양자화 이전에 균일한 무작위 딜레이트 신호를 추가하여 확률적 그라디언트에 대해 딜레이티드 양자화를 적용함으로써 입력 그라디언트로부터 오차의 독립성을 보장한다.
• 스텝 크기가 Δ인 M단계 균일 양자화기 사용, 출력은 Q(v) = Δ·⌊v/Δ⌉로 표현되며, 딜레이트는 U[−Δ/2, Δ/2]에서 추출된다.
• 먼저 그라디언트를 굵은 수준으로 양자화한 후, 더 미세한 양자화를 사용해 하위 그룹을 정밀화하는 계층적 양자화를 적용하는 네스티드 딜레이티드 양자화(NDQSG)를 제안한다.
• 워커 간 그라디언트 상관관계를 모델링하고, 이를 바탕으로 비트 사용을 줄이되, 양자화 분산을 유지하는 네스티드 구조를 설계한다.
• 양자화된 그라디언트를 추가로 압축하기 위해 엔트로피 코딩을 적용하여 비트 레이트를 감소시키되, 모델 성능에 영향을 주지 않는다.
• NDQSG가 DQSG와 동일한 양자화 분산 바운드를 유지함을 증명하여 동일한 수렴 행동을 보장한다.

실험 결과

연구 질문

• RQ1 딜레이티드 양자화가 그라디언트 값으로부터 양자화 오차를 분리함으로써 분산 학습의 수렴 안정성을 향상시킬 수 있는가?
• RQ2 양자화 수준의 수가 분산 SGD에서 수렴 속도와 통신 비용에 어떤 영향을 미치는가?
• RQ3 확률적 그라디언트 간의 워커 간 상관관계를 활용하여 양자화 분산을 증가시키지 않고 통신 비트를 줄일 수 있는가?
• RQ4 네스티드 딜레이티드 양자화는 상당히 적은 비트를 사용하면서도 표준 딜레이티드 양자화와 동일한 학습 정확도와 수렴 속도를 달성할 수 있는가?

주요 결과

• DQSG는 엔트로피 코딩 이후 FC300-100에 대해 38.6 Kbits/워커로 비트 수를 원-비트 양자화 대비 최대 6배까지 줄였으며, 정확도 손실이 최소한이다.
• NDQSG는 DQSG 대비 통신 비트를 30% 이상 감소시켰으며, FC300-100 기준 DQSG의 619.2 Kbits 대비 NDQSG는 422.8 Kbits/워커를 기록했다.
• 8명의 워커를 사용한 CifarNet의 경우, NDQSG는 50 에포크 후 64.1%의 정확도를 달성하여 DQSG 및 QSGD와 동일하고, 원-비트 양자화(47.8%)를 능가했다.
• DQSG는 학습 반복 수면에서 베이스라인보다 더 빠르게 수렴함을 보여, 독립된 노이즈 구조로 인한 향상된 수렴 역학을 유도한다.
• 워커 수가 증가할수록 그라디언트 평균화 효과로 인해 양자화된 학습과 비양자화된 학습 간 수렴 격차가 줄어들며, 이는 확장성의 타당성을 입증한다.
• NDQSG는 비트 사용을 줄였음에도 불구하고 DQSG와 동일한 학습 정확도와 수렴 속도를 유지함으로써 저대역폭 분산 시스템에 효과적임을 입증한다.