[논문 리뷰] QSGD: Randomized Quantization for Communication-Optimal Stochastic Gradient Descent

Dan Alistarh, Jerry Li외 2명|arXiv (Cornell University)|2016. 10. 07.

Stochastic Gradient Optimization Techniques참고 문헌 15인용 수 68

한 줄 요약

QSGD는 모델 차원에 대해 하위선형 통신 비용으로 증명 가능하게 수렴하는 훈련을 가능하게 하는 통신 효율적인 확률적 경사하강법이다. 랜덤화된 양자화를 사용하여 경사 업데이트를 압축한다. 이는 모델 차원에 대해 渐진적으로 최적의 통신 효율성을 달성하면서도 실제 딥러닝 작업에서 경쟁 가능한 성능을 유지한다.

ABSTRACT

Parallel implementations of stochastic gradient descent (SGD) have received significant research attention, thanks to excellent scalability properties of this algorithm, and to its efficiency in the context of training deep neural networks. A fundamental barrier for parallelizing large-scale SGD is the fact that the cost of communicating the gradient updates between nodes can be very large. Consequently, lossy compresion heuristics have been proposed, by which nodes only communicate quantized gradients. Although effective in practice, these heuristics do not always provably converge, and it is not clear whether they are optimal. In this paper, we propose Quantized SGD (QSGD), a family of compression schemes which allow the compression of gradient updates at each node, while guaranteeing convergence under standard assumptions. QSGD allows the user to trade off compression and convergence time: it can communicate a sublinear number of bits per iteration in the model dimension, and can achieve asymptotically optimal communication cost. We complement our theoretical results with empirical data, showing that QSGD can significantly reduce communication cost, while being competitive with standard uncompressed techniques on a variety of real tasks.

연구 동기 및 목표

• 분산 SGD에서 높은 통신 비용을 해결하기 위해 효율적인 경사 압축을 가능하게 하기 위해.
• 많은 히وري스틱한 양자화 방법들과는 달리, 표준 가정 하에 수렴을 보장하는 압축 체계를 설계하기 위해.
• 조정 가능한 양자화 수준을 통해 통신 비용과 수렴 속도 사이의 조절 가능한 트레이드오프를 가능하게 하기 위해.
• 모델 차원에 대해 반복당 비트 수 기준으로 渐진적으로 최적의 통신 복잡도를 달성하기 위해.
• 실제 딥러닝 작업에서 양자화된 경사가 전체 정밀도 SGD와 비교해 경쟁 가능한 성능을 유지하는지 경험적으로 검증하기 위해.

제안 방법

• QSGD는 노드 간 전송 전에 경사 벡터를 저비트 표현으로 압축하기 위해 랜덤화된 양자화를 사용한다.
• 각 경사 성분을 기대값을 유지하는 확률적 반올림 방식을 사용해 양자화된 값으로 매핑한다.
• 사용자는 각 경사 성분당 비트 수를 제어할 수 있어 압축과 정확도 손실 사이의 트레이드오프를 가능하게 한다.
• 양자화 체계는 양자화된 경사의 기대값이 원래 경사와 동일하도록 설계되어 있어 편향 없는 업데이트를 보장한다.
• 통신 비용은 모델 차원에 대해 하위선형으로 증가하며, 반복당 비트 수 기준으로 渐진적으로 최적성을 달성한다.
• 표준 확률적 경사하강법 가정(리프슈츠 연속성 및 유한 분산) 하에서 수렴 보장을 유지한다.

실험 결과

연구 질문

• RQ1 히وري스틱 접근 방식과 달리, 분산 SGD에서 수렴을 보장할 수 있도록 경사 양자화를 설계할 수 있는가?
• RQ2 확률적 경사하강법에 필요한 이론적 최소 통신 비용은 무엇이며, 이를 달성할 수 있는가?
• RQ3 양자화 비트 레이트와 수렴 속도 사이의 트레이드오프는 훈련 성능에 어떤 영향을 미치는가?
• RQ4 양자화된 경사가 실제 딥러닝 작업에서 경쟁 가능한 정확도와 수렴 속도를 유지할 수 있는가?
• RQ5 통신 효율성과 수렴 안정성 사이를 균형 잡는 최적의 양자화 전략은 무엇인가?

주요 결과

• QSGD는 모델 차원에 대해 반복당 비트 수 기준으로 渐진적으로 최적의 통신 비용을 달성하며, 하위선형으로 증가한다.
• 표준 가정 하에서 수렴을 보장하여, 히وري스틱한 압축 방법이 종종 실패하는 이론적 안정성을 제공한다.
• 경험 결과 QSGD는 다양한 실제 딥러닝 작업에서 전체 정밀도 SGD와 비교해 훈련 정확도를 유지함을 보여준다.
• 경사 성분당 비트 수를 조절함으로써 QSGD는 통신 비용과 수렴 속도 사이의 조절 가능한 트레이드오프를 가능하게 한다.
• 랜덤화된 양자화 체계는 편향 없는 경사 추정치를 보장하여 압축에도 불구하고 수렴 성질을 유지한다.
• QSGD는 모델 성능을 훼손하지 않고 통신 오버헤드를 크게 감소시켜 대규모 분산 훈련에 적합하다.