[논문 리뷰] Deep Gradient Compression: Reducing the Communication Bandwidth for Distributed Training

Yujun Lin, Song Han외 3명|arXiv (Cornell University)|2017. 12. 05.

Advanced Neural Network Applications참고 문헌 37인용 수 645

한 줄 요약

딥 그래디언트 컴프레션은 모멘텀 보정, 로컬 그래디언트 클리핑, 모멘텀 계수 마스킹, 워밍업 트레이닝을 사용하여 그래디언트 통신을 270배에서 600배까지 감소시키면서 CNN과 RNN 전반의 정확도를 유지합니다.

ABSTRACT

Large-scale distributed training requires significant communication bandwidth for gradient exchange that limits the scalability of multi-node training, and requires expensive high-bandwidth network infrastructure. The situation gets even worse with distributed training on mobile devices (federated learning), which suffers from higher latency, lower throughput, and intermittent poor connections. In this paper, we find 99.9% of the gradient exchange in distributed SGD is redundant, and propose Deep Gradient Compression (DGC) to greatly reduce the communication bandwidth. To preserve accuracy during compression, DGC employs four methods: momentum correction, local gradient clipping, momentum factor masking, and warm-up training. We have applied Deep Gradient Compression to image classification, speech recognition, and language modeling with multiple datasets including Cifar10, ImageNet, Penn Treebank, and Librispeech Corpus. On these scenarios, Deep Gradient Compression achieves a gradient compression ratio from 270x to 600x without losing accuracy, cutting the gradient size of ResNet-50 from 97MB to 0.35MB, and for DeepSpeech from 488MB to 0.74MB. Deep gradient compression enables large-scale distributed training on inexpensive commodity 1Gbps Ethernet and facilitates distributed training on mobile. Code is available at: https://github.com/synxlin/deep-gradient-compression.

연구 동기 및 목표

• 대규모 학습을 위한 동기식 분산 SGD에서 통신 대역폭을 줄일 필요성을 동기 부여한다.
• 높은 희소성에서도 정확도를 보존하는 그래디언트 압축 방법을 제안한다.
• 희소 업데이트로 인한 수렴 및 최신성 저하 문제를 완화하는 메커니즘을 도입한다.

제안 방법

• 큰 그래디언트만 전송하고 작은 그래디언트는 로컬에서 누적하는 그래디언트 희소화.
• 희소 그래디언트를 32비트 비제로(nonzeros)와 16비트 0의 연속 길이로 인코딩한다.
• 희소 업데이트를 밀집(momentum SGD) 업데이트와 정렬시키기 위한 모멘텀 보정.
• 각 노드 내의 폭발 위험을 제어하기 위한 로컬 그래디언트 클리핑.
• 지연된 그래디언트로 인한 오래된 모멘텀 영향 감소를 위한 모멘텀 계수 마스킹.
• 초기 학습의 안정화를 위해 점진적으로 희소성을 증가시키는 워밍업 트레이닝.

실험 결과

연구 질문

• RQ1 다양한 작업에서 정확도 손실 없이 그래디언트 교환을 대폭(수 차례 이상) 줄일 수 있는가?
• RQ2 모멘텀을 갖는 분산 SGD에서 희소성으로 인한 수렴 문제를 어떻게 완화할 수 있는가?
• RQ3 CNN과 RNN 전반에서 대역폭 감소와 모델 성능 간 최적의 균형을 어떤 기법 조합이 이루는가?
• RQ4 계층적 임계값 설정 같은 런타임 전략이 확장 가능한 희소 그래디언트 선택을 가능하게 하는가?

주요 결과

• 270×에서 600×까지의 그래디언트 압축 비율이 여러 작업 및 데이터셋에서 정확도 손실 없이 달성된다.
• ImageNet의 ResNet-50에서 비압축 대비 경미한 정확도 하락으로 277×의 압축이 달성된다(Top-1: 58.17% 기본대비 58.20% DGC; Top-5: 80.19% 기본대비 80.20% DGC).
• CIFAR-10의 ResNet-110에서 4 GPUs일 때, 기본 Top-1 정확도는 93.75%이고 DGC는 93.87%를 달성( +0.12% ).
• 4 GPUs와 256 전체 배치 크기로 ImageNet에서, 기본 Top-1은 92.92%이고 DGC는 93.28%로 +0.37%이다.
• 펜 트리뱅크에서의 언어 모델링은 perplexity가 72.30(기본) 대 72.24(DGC)이고 그래디언트 크기는 0.42 MB(462× 압축)이다.
• LibriSpeech 음성인식은 WER이 9.45%(test-clean) 기본대비, DGC는 9.06%(test-clean)이며 그래디언트 크기는 0.74 MB(608× 압축)이다.