[논문 리뷰] Variance-based Gradient Compression for Efficient Distributed Deep Learning

Yusuke Tsuzuku, Hiroto Imachi외 1명|arXiv (Cornell University)|2018. 02. 16.

Advanced Neural Network Applications참고 문헌 15인용 수 50

한 줄 요약

변이 기반 그래디언트 압축을 도입하여 가능성이 낮은 그래디언트 업데이트를 지연시키고 분산 학습에서의 통신을 대폭 줄이며, 정확도와 호환 가능한 다른 방법들과의 호환성을 유지하는 방식으로 높은 압축을 달성합니다.

ABSTRACT

Due to the substantial computational cost, training state-of-the-art deep neural networks for large-scale datasets often requires distributed training using multiple computation workers. However, by nature, workers need to frequently communicate gradients, causing severe bottlenecks, especially on lower bandwidth connections. A few methods have been proposed to compress gradient for efficient communication, but they either suffer a low compression ratio or significantly harm the resulting model accuracy, particularly when applied to convolutional neural networks. To address these issues, we propose a method to reduce the communication overhead of distributed deep learning. Our key observation is that gradient updates can be delayed until an unambiguous (high amplitude, low variance) gradient has been calculated. We also present an efficient algorithm to compute the variance with negligible additional cost. We experimentally show that our method can achieve very high compression ratio while maintaining the result model accuracy. We also analyze the efficiency using computation and communication cost models and provide the evidence that this method enables distributed deep learning for many scenarios with commodity environments.

연구 동기 및 목표

• 데이터 병렬 분산 심층 학습에서의 통신 병목 현상을 동기부여하고 해결합니다.
• 그래디언트 분산을 사용해 업데이트를 보낼지 결정하는 그래디언트 압축 방법을 제안합니다.
• 모델 정확도를 희생하지 않으면서 높은 압축 비율을 달성하고 다른 압축 스킴과의 호환성을 보여줍니다.
• 일반 네트워크 환경에서의 실용성을 입증하기 위해 CIFAR-10과 ImageNet에 대한 분석 및 실증 결과를 제공합니다.

제안 방법

• 시그널 대 잡음 비가 낮아 모호한 그래디언트 원소를 분산 기준에 따라 전송 지연시키는 것을 제안합니다.
• 임계치 기준을 사용합니다: alpha' / |B| * V_B[∇_i f_z(x)] < (∇_i f_B(x))^2 를 사용해 그래디언트 원소를 전송할지 결정합니다.
• 추가 비용 없이 임계치를 효율적으로 계산하기 위해 그래디언트의 합과 제곱의 합을 유지합니다.
• 전송되는 원소를 4비트로 양자화하되 1비트 부호와 3비트 지수 비트를 사용하고 희소화된 커뮤니케이션을 위한 파라미터 인덱스를 인코딩합니다.
• 모든 합(Allgatherv)을 통한 희소화된 그래디언트 통신을 사용하여 allreduce를 위한 반복적인 인코딩/디코딩을 피합니다.
• 추가 압축을 위해 Strom의 희소화 방법이나 QSGD와의 하이브리드 결합을 선택적으로 활용합니다.
• 실용적인 형태의 기준과 분산(베타) 버전에 대한 업데이트-감쇠 메커니즘(zeta)을 도출하여 효율적인 구현을 제공합니다.

실험 결과

연구 질문

• RQ1 분산 심층 학습에서 분산된 그래디언트 통신을 분산 기반 기준으로 얼마나 줄일 수 있는가?
• RQ2 대규모 작업(예: ImageNet)에서 분산된 그래디언트 압축이 높은 압축과 함께 정확도를 유지할 수 있는가?
• RQ3 제안된 방법이 기존의 양자화, 희소화 같은 압축 기법과 어떻게 상호 작용하고 보완되는가?
• RQ4 일반적인 하드웨어에서 분산 기반 그래디언트 압축의 실용적인 계산 및 통신 비용은 어느 정도인가?

주요 결과

방법	정확도	압축률
Adam, no compression	88.1	1
Adam, Strom, tau=0.001	62.8	88.5
Adam, Strom, tau=0.01	85.0	230.1
Adam, Strom, tau=0.1	88.0	6,942.8
Adam, our method, alpha=1	88.9	120.7
Adam, our method, alpha=1.5	88.9	453.3
Adam, our method, alpha=2.0	88.9	913.4
Adam, hybrid, tau=0.01, alpha=2.0	85.0	1,942.2
Adam, hybrid, tau=0.1, alpha=2.0	88.2	12,822.4
Adam, QSGD (2bit, d=128)	88.8	12.3
Adam, QSGD (3bit, d=512)	87.4	14.4
Adam, QSGD (4bit, d=512)	88.2	11.0
Momentum SGD, no compression	91.7	1
Momentum SGD, Strom, tau=0.001	84.8	6.6
Momentum SGD, Strom, tau=0.01	10.6	990.7
Momentum SGD, Strom, tau=0.1	71.6	8,485.0
Momentum SGD, our method, alpha=1	?	?
Momentum SGD, our method, alpha=1.5	?	?
Momentum SGD, our method, alpha=2.0	?	?
Momentum SGD, hybrid, tau=0.01, alpha=2.0	87.6	983.9
Momentum SGD, hybrid, tau=0.1, alpha=2.0	87.1	12,396.8
Momentum SGD, QSGD (2bit, d=128)	90.8	6.6
Momentum SGD, QSGD (3bit, d=512)	91.4	7.0
Momentum SGD, QSGD (4bit, d=512)	91.7	4.0

• CIFAR-10에서 Adam과 강력한 압축과 함께 정확도와 비슷하거나 더 나은 정확도를 달성합니다.
• CIFAR-10에서 우리의 방법이 alpha를 {1,1.5,2.0}일 때 대략 88.9%의 정확도를 달성하면서 통신을 크게 줄이며 Adam에서 최대 913.4x, alpha=2.0일 때 Momentum SGD에서 383.6x의 압축을 달성합니다.
• 하이브리드 방법(분산 기반 + Strom)은 큰 압축을 달성하면서도 정확도 손실이 최소화되어 여러 설정에서 Strom의 단독 방식보다 우수합니다.
• ImageNet(ResNet-50)에서 분산 기반 방법은 양자화 기반 접근 방식과 근접한 정확도를 유지하면서도 상당한 압축을 제공합니다(예: alpha=2.0에서 Momentum SGD 하에서 75.1%-75.5% 정확도, 990.7x–5,173.8x 압축).
• Variance-based 압축은 일반 하드웨어 간선에서의 확장 가능한 분산 학습을 가능하게 하며, allgatherv 기반 통신이 높은 압축 비율의 혜택을 받습니다.