[논문 리뷰] Scalable Methods for 8-bit Training of Neural Networks

Ron Banner, Itay Hubara외 2명|arXiv (Cornell University)|2018. 05. 25.

Advanced Neural Network Applications참고 문헌 25인용 수 129

한 줄 요약

8비트로 신경망을 완전히 학습시키는 것이 Range Batch-Normalization 및 Gradients Bifurcation을 사용함으로써 가능하며, 정확도 손실 없이 ImageNet 규모의 결과를 달성한다.

ABSTRACT

Quantized Neural Networks (QNNs) are often used to improve network efficiency during the inference phase, i.e. after the network has been trained. Extensive research in the field suggests many different quantization schemes. Still, the number of bits required, as well as the best quantization scheme, are yet unknown. Our theoretical analysis suggests that most of the training process is robust to substantial precision reduction, and points to only a few specific operations that require higher precision. Armed with this knowledge, we quantize the model parameters, activations and layer gradients to 8-bit, leaving at a higher precision only the final step in the computation of the weight gradients. Additionally, as QNNs require batch-normalization to be trained at high precision, we introduce Range Batch-Normalization (BN) which has significantly higher tolerance to quantization noise and improved computational complexity. Our simulations show that Range BN is equivalent to the traditional batch norm if a precise scale adjustment, which can be approximated analytically, is applied. To the best of the authors' knowledge, this work is the first to quantize the weights, activations, as well as a substantial volume of the gradients stream, in all layers (including batch normalization) to 8-bit while showing state-of-the-art results over the ImageNet-1K dataset.

연구 동기 및 목표

• 훈련 중 계산량과 메모리 사용량을 줄이기 위한 양자화 학습의 동기 부여.
• 정확도를 유지하면서 가중치, 활성화 및 대부분의 그래디언트를 8비트 양자화하는 것을 제안.
• 배치 정규화 및 역전파의 수치적 안정성 병목 현상을 해결.
• 표준 BN의 저정밀 대안으로 Range Batch-Normalization를 도입.
• 양자화된 역전파로 대형 모델(이미지넷)의 실용적 학습을 시연.

제안 방법

• 배치 정규화를 Range BN으로 대체하여 양자화를 견디고 고정밀 제곱근 연산을 피함.
• 가중치, 활성화 및 상당 부분의 그래디언트를 8비트로 양자화하되 가중치-그래디언트 계산은 16비트로 유지.
• Gradients Bifurcation: 역전파를 위해 8비트의 층 그래디언트 g_l을 계산하고 업데이트를 위한 16비트의 g_W를 병렬로 계산.
• 업데이트의 편향 없는 축적을 보장하기 위해 그래디언트 양자화에 확률적 반올림을 사용.
• 학습 시 양자화를 위한 GEMMLOWP 양자화 스킴 적용.
• 역전파 중 이산 변수 미분에 대해 Straight-Through Estimator(STE) 채택.

실험 결과

연구 질문

• RQ1 8비트 양자화를 가중치, 활성화 및 대부분의 그래디언트에 적용해 대규모 데이터셋에서 정확도 저하 없이 학습이 가능한가?
• RQ2 저정밀도에서 안정성과 성능을 유지하기 위해 배치 정규화 및 그래디언트 계산을 어떻게 적응시킬 수 있는가?
• RQ3 Range BN은 저정밀도 학습에서 표준 BN과 비슷한 정확도를 제공하는가?
• RQ4 양자화된 역전파가 학습 속도, 메모리 및 에너지 효율에 미치는 영향은 무엇인가?

주요 결과

• Range BN은 표준 배치 정규화를 근사할 수 있으며, ImageNet(예: ResNet-50) 및 CIFAR-10 실험에서 유사한 정확도를 낱는다.
• 대부분의 학습 연산을 8비트에서 수행할 수 있으며, 최종 가중치-그래디언트 업데이트와 층 그래디언트의 16비트 사본만이 더 높은 정밀도에서 남아 있음.
• 그래디언트 분기(Graidients bifurcation, 8비트 g_l 및 16비트 g_W)는 수렴에 지장을 주지 않으면서 역전파를 효율적으로 가능하게 함.
• 활성화/가중치를 8비트로, 그래디언트 사본을 16비트로 두고 양자화된 역전파가 ImageNet의 테스트 모델에서 정확도 손실 없이 학습을 달성함.
• 그래디언트의 양자화에서 수렴 가능한 학습을 위해 확률적 반올림이 필수적임.
• Range BN 및 8비트 학습은 전체 정밀도 학습에 비해 하드웨어 효율성을 크게 향상시키며 더 빠른 MAC 및 낮은 에너지를 제공함.