[논문 리뷰] Error Compensated Quantized SGD and its Applications to Large-scale Distributed Optimization

Jiaxiang Wu, Weidong Huang외 2명|arXiv (Cornell University)|2018. 06. 20.

Distributed and Parallel Computing Systems인용 수 111

한 줄 요약

ECQ-SGD는 양자화된 그래디언트에 누적 오차 보정 피드백을 도입하여 데이터-병렬 분산 최적화에서 성능 손실 없이 큰 그래디언트 압축을 달성하고, 이전의 양자화 SGD 방법보다 더 빠른 수렴을 보인다.

ABSTRACT

Large-scale distributed optimization is of great importance in various applications. For data-parallel based distributed learning, the inter-node gradient communication often becomes the performance bottleneck. In this paper, we propose the error compensated quantized stochastic gradient descent algorithm to improve the training efficiency. Local gradients are quantized to reduce the communication overhead, and accumulated quantization error is utilized to speed up the convergence. Furthermore, we present theoretical analysis on the convergence behaviour, and demonstrate its advantage over competitors. Extensive experiments indicate that our algorithm can compress gradients by a factor of up to two magnitudes without performance degradation.

연구 동기 및 목표

• 데이터-병렬 분산 최적화에서 노드 간 통신 감소의 필요성을 동기 부여.
• 보상으로 누적 양자화 오차를 사용하는 ECQ-SGD를 제안.
• ECQ-SGD를 QSGD와 비교한 이론적 수렴 분석 제공.
• 선형 모델 및 CNN에서의 ECQ-SGD를 직관적으로 검증하여 성능 손실 없이 압축을 보여줌.

제안 방법

• 무편향 확률적 양자화 함수 Q를 한정된 코드북으로 정의하고 그래디언트가 어떻게 양자화되는지 보인다.
• 노드당 누적 양자화 오차 h_p^(t) 및 보상 단계에서 계수 alpha를 도입한다.
• 보상된 그래디언트 tilde{g}_p^(t) = Q(g_p^(t) + alpha h_p^(t))를 양자화한다.
• 누적 오차 h_p^(t+1) = beta h_p^(t) + (g_p^(t) - tilde{g}_p^(t))로 업데이트한다.
• 분산 업데이트 w^{(t+1)} = w^{(t)} - eta * (1/P) sum_p tilde{g}_p^(t) 를 수행한다.
• 제로 수렴 분석 제공; 2차 목적에 대해 ECQ-SGD가 QSGD에 비해 양자화 오차 기여를 억제하는 방식 보여준다.

실험 결과

연구 질문

• RQ1 ECQ-SGD가 양자화된 그래디언트를 사용하면서도 전체 정밀도 SGD와 유사한 수렴을 달성할 수 있는가?
• RQ2 누적 오차 보정이 수렴 속도와 안정성을 이전의 양자화 SGD 방법(QSGD, 1Bit-SGD 등)보다 개선하는가?
• RQ3 하이퍼파라미터 alpha와 beta가 실제로 수렴 및 안정성에 어떤 영향을 미치는가?
• RQ4 ECQ-SGD가 대형 GPU 클러스터에서 통신 비용과 확장성에 미치는 영향은 무엇인가?

주요 결과

• ECQ-SGD는 성능 저하 없이 그래디언트를 최대 두 자릿수 규모까지 압축할 수 있다.
• 누적 오차 보정이 양자화 오차의 기여를 억제해 수렴 경계가 더 빠르고 안정적으로 나타나 baseline보다.
• 선형 모델에 대해 ECQ-SGD는 다수의 합성 데이터셋에서 QSGD보다 손실 값에서 더 빨리 수렴하고 최적해에 더 가깝다.
• CIFAR-10에서 ResNet-20 실험은 ECQ-SGD가 비교 가능한 정확도로 상당한 통신 감소를 달성한다.
• 성능 모델링 및 확장성 실험은 대형 GPU 클러스터에서 주목할 만한 속도 향상을 보여준다; 예: 512 GPU에서 vanilla SGD 대비 상당한 처리량 이득.