[논문 리뷰] 3LC: Lightweight and Effective Traffic Compression for Distributed Machine Learning

Hyeontaek Lim, David G. Andersen외 1명|arXiv (Cornell University)|2018. 02. 21.

Neural Networks and Applications참고 문헌 7인용 수 36

한 줄 요약

3LC는 분산 기계 학습을 위한 경량 손실 압축 기법으로, 3값 양자화, 4차원 인코딩, 제로런 인코딩을 조합하여 최대 107배의 트래픽 감소를 달성하면서 정확도 손실가 최소화되고 계산 오버헤드도 낮다. 기존 기계 학습 알고리즘을 수정하지 않고 10개 GPU 클러스터에서 ResNet-110의 CIFAR-10 학습 시간을 최대 23배까지 단축시킨다.

ABSTRACT

The performance and efficiency of distributed machine learning (ML) depends significantly on how long it takes for nodes to exchange state changes. Overly-aggressive attempts to reduce communication often sacrifice final model accuracy and necessitate additional ML techniques to compensate for this loss, limiting their generality. Some attempts to reduce communication incur high computation overhead, which makes their performance benefits visible only over slow networks. We present 3LC, a lossy compression scheme for state change traffic that strikes balance between multiple goals: traffic reduction, accuracy, computation overhead, and generality. It combines three new techniques---3-value quantization with sparsity multiplication, quartic encoding, and zero-run encoding---to leverage strengths of quantization and sparsification techniques and avoid their drawbacks. It achieves a data compression ratio of up to 39--107X, almost the same test accuracy of trained models, and high compression speed. Distributed ML frameworks can employ 3LC without modifications to existing ML algorithms. Our experiments show that 3LC reduces wall-clock training time of ResNet-110--based image classifiers for CIFAR-10 on a 10-GPU cluster by up to 16--23X compared to TensorFlow's baseline design.

연구 동기 및 목표

• 고대역폭 상태 변화 전송으로 인한 분산 기계 학습의 통신 병목 현상 해결.
• 모델 정확도를 훼손하지 않고 네트워크 트래픽을 감소시키며 알고리즘 수정 없이도 가능하게 하기.
• 성능 향상이 빠른 로컬 네트워크에서도 눈에 띄게 나타나도록 계산 오버헤드를 최소화하기.
• 압축 효율성, 정확도, 일반성, 낮은 계산 비용 사이의 균형 잡힌 균형을 달성하기.

제안 방법

• 32비트 부동소수점 상태 변화를 {-1, 0, 1} 값으로 매핑하기 위해 희소성 곱셈을 적용한 3값 양자화를 사용하며, 조절 가능한 압축 컨트롤과 오차 누적 버퍼를 통해 양자화 오차를 보정한다.
• 빠른 벡터화 가능한 연산을 통해 5개의 3값을 하나의 바이트로 압축하기 위해 4차원 인코딩을 사용하여 2비트 인코딩 대비 공간 사용을 20% 감소시킨다.
• 연속된 0값 바이트 그룹을 압축하기 위해 특수화된 런 레인지 인코딩 변형인 제로런 인코딩을 적용하여, 4차원 인코딩 데이터에서 최대 8배의 압축을 달성한다.
• 세 가지 기법을 통합된 파이프라인으로 통합하여 기존 기계 학습 프레임워크를 수정하지 않고도 기울기와 모델 델타의 손실 압축을 가능하게 한다.
• 벡터 연산과 바이트 수준 처리를 활용하여 낮은 계산 오버헤드와 높은 처리량을 확보한다.
• TensorFlow와 같은 기존 분산 학습 프레임워크와의 호환성을 확보하여 알고리즘 수정 없이도 사용 가능하도록 설계한다.

실험 결과

연구 질문

• RQ1 통신 압축 기법이 분산 기계 학습에서 높은 트래픽 감소를 달성하면서도 정확도를 유지하고 계산 오버헤드를 최소화할 수 있는가?
• RQ2 양자화와 희소화를 효과적으로 조합할 수 있는가? 이때 각각의 단점이 상호 영향을 미치지 않도록 하는가?
• RQ3 이미 존재하는 기계 학습 프레임워크에 알고리즘 수정 없이 다양한 네트워크 대역폭에서 높은 성능을 유지를 할 수 있는가?
• RQ4 학습 수렴성과 정확도를 유지하면서 분산 학습에서 상태 변화 트래픽의 최대 압축 비율은 얼마인가?
• RQ5 실제 분산 학습 워크로드에서 기울기 및 모델 델타 분포가 다양할 경우 압축 기법의 성능은 어떠한가?

주요 결과

• 3LC는 32비트 부동소수점 상태 변화에서 최대 107배의 트래픽 압축 비율을 달성했으며, 평균적으로 값당 0.3~0.8비트를 사용한다.
• 같은 학습 스텝 수를 사용할 경우, 고압축 수준에서도 기준 모델과 정확도 차이가 0.1% 이내로 유지된다.
• 10개 GPU 클러스터에서 CIFAR-10의 ResNet-110 학습에 대해 베이스라인인 TensorFlow 대비 벽시계 기반 학습 시간을 최대 23배 단축시켰다.
• 압축 파이프라인이 높은 속도를 기록하며 낮은 계산 오버헤드를 유지하여, 빠른 데이터센터 네트워크에서도 성능 향상이 눈에 띈다.
• 제로런 인코딩은 4차원 인코딩 데이터에서 최대 8배의 압축을 달성하여 전체 효율성 향상에 기여한다.
• 모델나 알고리즘 수정 없이도 TernGrad, QSGD, Deep Gradient Compression과 같은 이전 방법들보다 압축 비율과 정확도 유지 측면에서 뛰어난 성능을 보였다.