[논문 리뷰] Exploring Fast and Communication-Efficient Algorithms in Large-scale Distributed Networks

Yue Yu, Jiaxiang Wu외 1명|arXiv (Cornell University)|2019. 01. 25.

Sparse and Compressive Sensing Techniques인용 수 6

한 줄 요약

이 논문은 통신 비용을 줄이면서 수렴성을 유지하는 대규모 분산학습을 위한 통신 효율적인 알고리즘인 LPC-SVRG와 ALPC-SVRG를 제안한다. 이들은 양자화된 SVRG에 기울기 클리핑을 통합하여 통신 오버헤드를 감소시킨다. 새로운 양자화 방식과 클리핑, 더블 샘플링을 통해 전체 정밀도 및 저정밀도 기울기를 결합함으로써, 선형 모델과 딥 러닝 모델에서 전체 정밀도 SGD에 비해 최대 92.86배 낮은 통신 비용을 달성하면서 유사한 수렴 속도를 유지한다.

ABSTRACT

The communication overhead has become a significant bottleneck in data-parallel network with the increasing of model size and data samples. In this work, we propose a new algorithm LPC-SVRG with quantized gradients and its acceleration ALPC-SVRG to effectively reduce the communication complexity while maintaining the same convergence as the unquantized algorithms. Specifically, we formulate the heuristic gradient clipping technique within the quantization scheme and show that unbiased quantization methods in related works [3, 33, 38] are special cases of ours. We introduce double sampling in the accelerated algorithm ALPC-SVRG to fully combine the gradients of full-precision and low-precision, and then achieve acceleration with fewer communication overhead. Our analysis focuses on the nonsmooth composite problem, which makes our algorithms more general. The experiments on linear models and deep neural networks validate the effectiveness of algorithms.

연구 동기 및 목표

• 기울기 전송이 학습 시간을 지배하는 대규모 분산 기계학습 시스템에서의 통신 병목 현상을 해결하기 위해.
• 양자화 오차를 줄이고 수렴성을 향상시키면서도 이론적 보장을 유지하는 기울기 클리핑을 통합한 양자화 기법을 설계하기 위해.
• 더블 샘플링을 통해 전체 정밀도 및 저정밀도 기울기를 결합하여 통신 오버헤드를 늘리지 않고도 수렴 속도를 향상시키는 가속 알고리즘을 개발하기 위해.
• 비미분 가능 복합 최적화 문제에 대해 제안된 알고리즘의 수렴성을 이론적으로 분석하기 위해, 이는 볼록 및 비볼록 설정을 모두 포함한다.
• 선형 모델과 딥 네트워크에서 LPC-SVRG와 ALPC-SVRG의 통신 효율성과 빠른 수렴성을 실증적으로 검증하기 위해.

제안 방법

• 기울기 클리핑을 양자화 과정 내부에 통합한 새로운 양자화 기법을 제안하여, 양자화 오차를 감소시키고 이전의 비편향 양자화 방법들을 특수 케이스로 일반화한다.
• 기울기 클리핑을 적용한 양자화된 기울기를 사용하는 변동성 감소 알고리즘인 LPC-SVRG를 도입하여, 전체 정밀도 SVRG와 동일한 수렴 속도를 확보하면서 기울기당 O(log√d) 비트로만 전송한다.
• Katyusha 모멘텀과 더블 샘플링을 활용한 가속 버전인 ALPC-SVRG를 개발하여 저정밀도 및 전체 정밀도 기울기 업데이트를 결합함으로써 수렴 속도를 향상시킨다.
• 더블 샘플링 메커니즘을 활용해 현지에서 전체 정밀도 기울기를 유지하면서도 전송은 오직 양자화된 버전만 전송함으로써 통신 비용을 최소화하면서도 수렴 속도를 손상시키지 않는다.
• 이론적 분석을 통해 제안된 양자화 및 클리핑 프레임워크 하에서 비미분 가능 복합 문제에 대해 수렴성을 증명한다.
• 오차 피드백과 적응형 클리핑을 활용해 학습을 안정화시키고, 양자화 및 클리핑으로 인한 편향을 감소시킨다.

실험 결과

연구 질문

• RQ1 기울기 클리핑을 양자화 기법에 공식적으로 통합하여 통신 오버헤드를 줄이면서도 수렴성을 유지할 수 있는가?
• RQ2 더블 샘플링을 통해 저정밀도 및 전체 정밀도 기울기를 결합하면 통신 비용을 늘리지 않고도 더 빠른 수렴이 가능한가?
• RQ3 제안된 알고리즘이 기울기당 O(log√d) 비트만으로 전체 정밀도 방법과 동일한 渐近 수렴 속도를 달성할 수 있는가?
• RQ4 기존의 양자화 및 희소화 기법과 비교해 통신 효율성과 학습 정확도 측면에서 제안된 방법은 어떠한가?
• RQ5 작업자 수가 증가하는 대규모 분산 시스템에서 알고리즘이 효과적으로 스케일업되는가?

주요 결과

• YearPredictionMSD 데이터셋에서 LPC-SVRG와 ALPC-SVRG는 전체 정밀도 SGD 대비 각각 최대 46.16배, 92.86배 낮은 통신 비용을 기록했으며, 유사한 학습 손실을 달성했다.
• ResNet-20을 사용한 CIFAR-10에서 ALPC-SVRG는 전체 정밀도 SGD 대비 전송 비트 수를 90% 이상 감소시켰고, 유사한 테스트 오차를 기록했다.
• 전체 정밀도 SVRG보다 더 빠른 수렴 속도를 보였으며, 학습 과정에서 계산 및 전송 시간이 가장 적은 것은 ALPC-SVRG였다.
• 클리핑을 통한 제안된 양자화 기법은 이전의 비편향 양자화 방법들을 일반화하며, 양자화 오차를 감소시켜 모델 정확도를 향상시켰다.
• ResNet-50 성능 모델링 결과, ALPC-SVRG는 GPU 수가 증가함에 따라 대규모 GPU 클러스터에서 전체 정밀도 SVRG 대비 뚜렷한 성능 향상을 보였다.
• 실험 결과, ALPC-SVRG는 선형 모델과 딥 네트워크 양쪽 모두에서 빠른 수렴성과 낮은 통신 비용을 유지함을 확인했다.