[논문 리뷰] A Statistical Framework for Low-bitwidth Training of Deep Neural Networks

Jianfei Chen, Yu Gai외 3명|arXiv (Cornell University)|2020. 10. 27.

Advanced Neural Network Applications참고 문헌 39인용 수 14

한 줄 요약

이 논문은 저비트 훈련 기울기를 전밀도 기울기의 불편한 확률적 추정기로 모델링하는 통계적 프레임워크를 제안하며, 기울기 양자화 분산에 대한 이론적 분석을 가능하게 한다. 이 프레임워크는 기존의 텐서 수준 양자화와 비교해 분산을 줄이는 두 가지 새로운 양자화기—개별 샘플 양자화기(PSQ)와 블록 하우스홀더 양자화기(BHQ)—를 제안한다. 이로 인해 5비트 ResNet-50의 검증 정확도가 전밀도 훈련과 0.5% 이내로 유지되며, 8비트 기준선과 동등한 성능을 달성한다.

ABSTRACT

Fully quantized training (FQT), which uses low-bitwidth hardware by quantizing the activations, weights, and gradients of a neural network model, is a promising approach to accelerate the training of deep neural networks. One major challenge with FQT is the lack of theoretical understanding, in particular of how gradient quantization impacts convergence properties. In this paper, we address this problem by presenting a statistical framework for analyzing FQT algorithms. We view the quantized gradient of FQT as a stochastic estimator of its full precision counterpart, a procedure known as quantization-aware training (QAT). We show that the FQT gradient is an unbiased estimator of the QAT gradient, and we discuss the impact of gradient quantization on its variance. Inspired by these theoretical results, we develop two novel gradient quantizers, and we show that these have smaller variance than the existing per-tensor quantizer. For training ResNet-50 on ImageNet, our 5-bit block Householder quantizer achieves only 0.5% validation accuracy loss relative to QAT, comparable to the existing INT8 baseline.

연구 동기 및 목표

• 완전히 양자화된 훈련(FQT)에서 이론적 이해의 부족, 특히 기울기 양자화가 수렴에 미치는 영향을 해결하기 위해.
• FQT 기울기를 전밀도 기울기의 확률적 추정기로 모델링하여 편향과 분산 분석이 가능하도록 하기 위해.
• 기존의 텐서 수준 양자화기보다 분산을 줄이는 새로운 기울기 양자화기를 설계하기 위해.
• 5비트 양자화가 ResNet-50에서 8비트 훈련과 비교해 유사한 성능을 달성할 수 있음을 입증하기 위해.
• 정확도 손실을 최소화하여 엣지 장치에서 효율적인 저비트 훈련을 가능하게 하기 위해.

제안 방법

• 정확한 순전파와 불편한 양자화를 가정하여 FQT를 QAT 기울기의 확률적 추정기로 공식화하기 위해.
• FQT 기울기의 일반적인 분산 공식을 유도하여 비트 폭과 양자화기 유형이 기울기 품질에 미치는 영향를 분석하기 위해.
• 기울기 샘플마다 양자화를 적응적으로 조정하여 분산을 줄이는 개별 샘플 양자화기(PSQ)를 제안하기 위해.
• 기울기 차원에 걸쳐 신호를 분산시키고 동적 범위 문제를 줄이기 위해 직교 변환을 적용하는 블록 하우스홀더 양자화기(BHQ)를 도입하기 위해.
• 편향과 분산에 대한 이론적 경계를 활용해 저분산 양자화기 설계를 이끌기 위해.
• ImageNet(ResNet-50)과 기계 번역(IWSLT14)에서 종단 간 평가를 통해 기울기 분산과 검증 정확도를 비교 분석하기 위해.

실험 결과

연구 질문

• RQ1 FQT에서 기울기 양자화는 훈련 업데이트의 편향과 분산에 어떻게 영향을 미치는가?
• RQ2 단일 레이어나 볼록성과 같은 강한 가정 없이도 FQT를 분석할 수 있는 통계적 프레임워크를 개발할 수 있는가?
• RQ3 다양한 양자화기 설계(예: 텐서 수준 대비 샘플 수준)는 기울기 분산과 수렴에 어떻게 영향을 미치는가?
• RQ4 5비트 기울기 양자화가 8비트 또는 전밀도 훈련과 비교해 유사한 성능을 달성할 수 있는가?
• RQ5 BHQ와 PSQ와 같은 새로운 양자화기는 기존의 텐서 수준 양자화기보다 분산을 더 효과적으로 줄일 수 있는가?

주요 결과

• FQT 기울기는 QAT 기울기의 불편한 추정기이며, 점점 작아지는 학습률 조건 하에서 점근적 수렴 동등성을 보장한다.
• 제안된 블록 하우스홀더 양자화기(BHQ)는 기울기 분산을 크게 감소시켜 ImageNet에서 5비트 훈련 시 정확도 손실이 0.5% 이내로 유지되도록 한다.
• ImageNet의 ResNet-50에서 5비트 BHQ는 76.83%의 검증 정확도를 달성했으며, 8비트 PTQ(77.40%)와 유사하고 QAT 기준선(77.35%)에 근접한다.
• PSQ와 BHQ는 특히 저비트 폭에서 기존의 텐서 수준 양자화기(PTQ)보다 기울기 분산이 낮다.
• 기계 번역(IWSLT14)에서 5비트 BHQ는 QAT와 BLEU 점수 차이가 1% 이내로 유지되며, 반면 PTQ는 5비트에서 발산함을 보여 탁월한 안정성을 입증한다.
• 이 프레임워크는 저비트 양자화기 설계에 이론적 기반을 제공하며, 레이어별로 비트 폭을 적응적으로 조정하거나 새로운 형식을 도입할 가능성도 있다.