[논문 리뷰] NUQSGD: Provably Communication-efficient Data-parallel SGD via Nonuniform Quantization

Ali Ramezani-Kebrya, Fartash Faghri외 4명|City Research Online (City University London)|2021. 04. 28.

Advanced Neural Network Applications인용 수 12

한 줄 요약

이 논문은 데이터 병렬 확률적 경사하강법을 위한 비균일 양자화 기법인 NUQSGD를 제안하며, QSGD보다 더 강력한 이론적 보장을 달성하면서도 히우리스틱인 QSGDinf 변종 및 기타 압축 방법과 비교해도 실증 성능을 뛰어넘는다. 기울기 크기에 따라 양자화 수준을 적응적으로 배분함으로써 NUQSGD는 수렴 안정성이 보장되는 통신 비용을 감소시킨다.

ABSTRACT

As the size and complexity of models and datasets grow, so does the need for communication-efficient variants of stochastic gradient descent that can be deployed to perform parallel model training. One popular communication-compression method for data-parallel SGD is QSGD (Alistarh et al., 2017), which quantizes and encodes gradients to reduce communication costs. The baseline variant of QSGD provides strong theoretical guarantees, however, for practical purposes, the authors proposed a heuristic variant which we call QSGDinf, which demonstrated impressive empirical gains for distributed training of large neural networks. In this paper, we build on this work to propose a new gradient quantization scheme, and show that it has both stronger theoretical guarantees than QSGD, and matches and exceeds the empirical performance of the QSGDinf heuristic and of other compression methods.

연구 동기 및 목표

• 분산 훈련에서 기울기 압축의 이론적 보장과 실증 성능 사이의 격차를 해소하기 위해.
• 강력한 이론적 수렴 보장을 유지하면서도 QSGDinf와 같은 히우리스틱 방법의 실증 성과를 유지하거나 뛰어나게 하는 양자화 기법을 개발하기 위해.
• 기울기 크기에 기반해 양자화 수준을 최적화함으로써 데이터 병렬 SGD에서 효율적인 통신을 가능하게 하기 위해.
• 기존 압축 기법에 비해 이론적으로 통신 효율적인 대안을 제공하기 위해.

제안 방법

• 더 큰 기울기 크기에 더 많은 양자화 수준을 할당하는 비균일 양자화 기법을 제안하여, 최적화에 가장 기여하는 곳에서 정밀도를 향상시킨다.
• 기울기 통계에 기반한 비균일 분할 전략을 사용해 기울기를 이산 수준으로 매핑하는 양자화 함수를 설계한다.
• 기울기 방향과 크기 정확도를 유지하면서도 양자화된 기울기를 더 낮은 비트 폭으로 전송할 수 있는 통신 효율적인 인코딩 방법을 도입한다.
• 이론적 분석을 통해 표준 가정 하에서 수렴을 증명하며, QSGD의 보장을 향상시킨다.
• 대규모 신경망 훈련에서 NUQSGD를 실증적으로 평가하여 QSGD, QSGDinf 및 기타 압축 기반 기준과 비교한다.

실험 결과

연구 질문

• RQ1 비균일 양자화 기법이 QSGD보다 더 강력한 이론적 수렴 보장을 확보하면서도 더 뛰어난 실증 성능을 달성할 수 있는가?
• RQ2 기울기 크기에 기반해 양자화 수준을 적응적으로 할당할 경우, 훈련의 안정성과 수렴 속도에 어떤 영향을 미치는가?
• RQ3 모델 정확도와 통신 효율성 측면에서 NUQSGD는 히우리스틱인 QSGDinf 변종을 능가하는가?
• RQ4 기존 방법과 비교해 NUQSGD의 이론적 통신 복잡도는 어떻게 되는가?

주요 결과

• NUQSGD는 QSGD보다 더 날카운 이론적 경계를 확보한 채 증명 가능한 수렴을 달성하여 더 강력한 이론적 보장을 입증한다.
• NUQSGD는 대규모 신경망 훈련에서 히우리스틱인 QSGDinf 변종의 실증 성능을 유지하거나 뛰어넘는다.
• 기울기 크기에 따라 양자화 수준을 최적화함으로써 통신 비용을 줄여, 최적화에 가장 기여하는 곳에서 정밀도를 향상시킨다.
• 실증 결과로 NUQSGD는 기울기 업데이트당 전송 비트 수를 크게 줄이면서도 높은 모델 정확도를 유지함을 보여준다.