[논문 리뷰] Natural Compression for Distributed Deep Learning

Samuel Horváth, Chen-Yu Ho외 4명|arXiv (Cornell University)|2019. 05. 27.

Stochastic Gradient Optimization Techniques참고 문헌 44인용 수 69

한 줄 요약

본 논문은 자연 압축 C_nat를 도입하여, 각 업데이트 항목을 무작위 반올림을 통해 2의 거듭제곱으로 반올림하고, 수렴에 거의 영향을 주지 않으면서 상당한 통신 절감을 달성하며, 더 공격적인 압축을 위해 자연 디더링으로 확장하여 표준 디더링 대비 지수적 개선을 보여줍니다.

ABSTRACT

Modern deep learning models are often trained in parallel over a collection of distributed machines to reduce training time. In such settings, communication of model updates among machines becomes a significant performance bottleneck and various lossy update compression techniques have been proposed to alleviate this problem. In this work, we introduce a new, simple yet theoretically and practically effective compression technique: natural compression (NC). Our technique is applied individually to all entries of the to-be-compressed update vector and works by randomized rounding to the nearest (negative or positive) power of two, which can be computed in a "natural" way by ignoring the mantissa. We show that compared to no compression, NC increases the second moment of the compressed vector by not more than the tiny factor $\frac{9}{8}$, which means that the effect of NC on the convergence speed of popular training algorithms, such as distributed SGD, is negligible. However, the communications savings enabled by NC are substantial, leading to $3$-$4 imes$ improvement in overall theoretical running time. For applications requiring more aggressive compression, we generalize NC to natural dithering, which we prove is exponentially better than the common random dithering technique. Our compression operators can be used on their own or in combination with existing operators for a more aggressive combined effect and offer new state-of-the-art both in theory and practice.

연구 동기 및 목표

• 데이터-병렬 분산 딥러닝에서 통신 병목을 동기 부여하고 해결합니다.
• 편향되지 않은, 분산 초분산(Bounded second moment) 특성을 가지는 간단한 압축 연산자를 제안합니다.
• 압축으로 인해 수렴 저하가 거의 없도록 실질적 통신 절감을 보여줍니다.
• 더 공격적인 압축과 이론적 이점을 분석하기 위해 자연 디더링을 도입합니다.
• 현실적 성능 개선 및 기존 압축 방법과의 호환성을 입증합니다.

제안 방법

• 실수 값 업데이트 항목을 균일하지 않은 반올림으로 무작위로 2의 거듭제곱으로 매핑하는 자연 압축 C_nat를 정의하고 구현합니다.
• C_nat가 바운드된 제2모멘트를 가지는 편향 없는 클래스 B(1/8)에 속함을 증명하여 수렴에 미치는 영향을 거의 없게 함( 정리 2.3 ).
• IEEE 754 형식에서 부호와 지수 비트만 인코딩함으로써 통신을 줄이는 방식으로 자연 압축을 보여줍니다( float32의 경우 3.56배, float64의 경우 5.82배 더 적은 비트).
• 표준 디더링에 비해 지수적으로 개선된 자연 디더링 D_nat^{p,s}를 도입하고, 분산 및 압축 특성을 정리(정리 3.2, 3.3)합니다.
• 마스터와 워커가 B(ω)에서의 압축을 사용하여 속도향상을 달성하는 분산 SGD를 위한 양방향 압축 프레임워크( 알고리즘 1 )를 개발합니다(정리 4.1).
• 기존 압축 연산자와의 합성 규칙을 통해 호환성을 보임(정리 2.5).
• 훈련 시간 감소 및 확장성 검증을 위한 개념 증명 시스템과 실험 제공(ResNet110, CIFAR-10의 AlexNet; ImageNet 결과).

실험 결과

연구 질문

• RQ1 자연 압축으로 업데이트 벡터의 제2 모멘트가 얼마나 증가하며 수렴에 실질적으로 영향을 미치는가?
• RQ2 C_nat와 자연 디더링으로 양방향 압축이 분산 SGD에서 정확도를 유지하면서 실용적인 속도향상을 제공할 수 있는가?
• RQ3 자연 압축과 기존 압축 기법을 결합했을 때의 이론적 보장과 실질적 이점은 무엇인가?
• RQ4 고정된 통신 예산 하에서 자연 디더링이 표준 디더링에 비해 분산 및 효율성 측면에서 어떻게 비교되는가?

주요 결과

• C_nat는 업데이트의 제2 모멘트를 최대 9/8 배로 증가시키며 SGD 기반 방법의 수렴에 거의 영향을 주지 않습니다.
• C_nat는 양방향(양방향) 압축으로 매 반복당 통신을 3.2배~3.6배 감소시킵니다.
• 자연 디더링 D_nat^{p,s}은 동일한 분산 수준에서 표준 디더링보다 기하급수적으로 우수합니다.
• 희소화나 다른 연산자와 결합되면 자연 압축이 표준 접근법보다 더 큰 전체 속도향상을 제공합니다(표 1의 논의에서 확인).
• 실험적 결과는 CIFAR-10의 ResNet110에서 약 26%의 훈련 시간 감소, AlexNet에서 약 66%의 감소와 같은 큰 효과를 보여주며 최종 정확도 손실 없이 더 큰 모델(ImageNet)에서의 확장성도 확인됩니다.
• 제안된 연산자는 SwitchML 스타일의 네트워크 내 합산과 호환되며 B(ω) 내의 광범위한 압축 연산자 가족을 지원합니다.