[논문 리뷰] TernGrad: Ternary Gradients to Reduce Communication in Distributed Deep Learning

Wei Wen, Cong Xu외 5명|arXiv (Cornell University)|2017. 05. 22.

Robotics and Automated Systems인용 수 419

한 줄 요약

TernGrad는 분산 데이터 병렬 학습에서 통신을 줄이기 위해 그래디언트를 3진 값(-1, 0, 1)으로 양자화하며 수렴 보장과 계층별 기법을 통해 성능을 향상시킨다; 실험은 정확도 손실이 거의 없거나 없고 주목할 만한 속도 향상을 보여준다.

ABSTRACT

High network communication cost for synchronizing gradients and parameters is the well-known bottleneck of distributed training. In this work, we propose TernGrad that uses ternary gradients to accelerate distributed deep learning in data parallelism. Our approach requires only three numerical levels {-1,0,1}, which can aggressively reduce the communication time. We mathematically prove the convergence of TernGrad under the assumption of a bound on gradients. Guided by the bound, we propose layer-wise ternarizing and gradient clipping to improve its convergence. Our experiments show that applying TernGrad on AlexNet does not incur any accuracy loss and can even improve accuracy. The accuracy loss of GoogLeNet induced by TernGrad is less than 2% on average. Finally, a performance model is proposed to study the scalability of TernGrad. Experiments show significant speed gains for various deep neural networks. Our source code is available.

연구 동기 및 목표

• 데이터 병렬 심층 신경망을 위한 분산 SGD의 통신 병목 현상을 동기 부여하고 해결한다.
• 전체 정밀도 그래디언트 동기화를 대체하기 위한 3진 그래디언트 양자화 방법을 제안한다.
• 수렴성과 안정성을 보장하기 위한 이론적으로 근거 있는 경계와 실용적 기법을 개발한다.
• 표준 DNN에서 경험적 정확도 보존(또는 상승)을 시연하고 확장성과 속도향상을 측정한다.

제안 방법

• 그래디언트를 계량에 따라 가중치를 가하는 무작위 베르누이 기반 마스킹으로 3진 값으로 양자화한다.
• 공유 스칼라 s_t를 적용하여 3진 값을 조정하고 편향되지 않은 그래디언트 추정치를 얻는다.
• 매개변수 로컬라이제이션을 사용하여 서버 측 매개변수 동기화를 양자화된 그래디언트를 당겨오는 것으로 대체한다.
• 수렴 경계를 조이고 그래디언트 범위를 줄이기 위해 계층별 3진화와 그래디언트 클리핑을 도입한다.
• 표준 온라인 그래디언트 조건과 그래디언트 상한 하에서 거의 확실한 수렴을 보이는 수렴 분석을 제공한다.

실험 결과

연구 질문

• RQ1 3진 그래디언트 양자화가 분산 SGD의 수렴을 보장할 수 있는가?
• RQ2 계층별 3진화와 그래디언트 클리핑이 수렴 및 실용적 성능에 어떤 영향을 미치는가?
• RQ3 TernGrad를 사용할 때 표준 CNN 아키텍처에서 어떤 정확도와 속도 향상을 달성할 수 있는가?
• RQ4 작업자 수와 네트워크 대역폭이 증가할수록 TernGrad의 확장은 어떻게 되는가?

주요 결과

• 제안된 가정과 3진 그래디언트 추정기를 사용하여 TernGrad는 거의 확실하게 최소값으로 수렴한다.
• 계층별 3진화와 그래디언트 클리핑은 수렴 경계를 더 촘촘하게 하고 실무에서 안정성을 향상시킨다.
• AlexNet은 정확도 손실이 없고 TernGrad에서 정확도가 오히려 향상될 수 있으며, GoogLeNet은 평균 top-1 손실이 약 2% 미만이다.
• 실험 결과는 통신 감소로 인해 특히 통신-계산 비율이 높은 네트워크에서 상당한 학습 속도 향상을 보여준다.
• 성능 모델은 다중 GPU 클러스터에서 다양한 대역폭에 걸쳐 주목할 만한 처리량 증가를 시사한다.