[논문 리뷰] Towards Efficient Training for Neural Network Quantization

Qing Jin, Linjie Yang외 1명|arXiv (Cornell University)|2019. 12. 21.

Advanced Neural Network Applications참고 문헌 56인용 수 33

한 줄 요약

이 논문은 스케일 조정 학습(SAT)과 그래디언트 보정 PACT(CG-PACT)을 도입하여 효율적이고 고정밀 비정량 양자화 신경망을 가능하게 하며 MobileNet 및 PreResNet-50에서 최첨단 결과를 달성합니다.

ABSTRACT

Quantization reduces computation costs of neural networks but suffers from performance degeneration. Is this accuracy drop due to the reduced capacity, or inefficient training during the quantization procedure? After looking into the gradient propagation process of neural networks by viewing the weights and intermediate activations as random variables, we discover two critical rules for efficient training. Recent quantization approaches violates the two rules and results in degenerated convergence. To deal with this problem, we propose a simple yet effective technique, named scale-adjusted training (SAT), to comply with the discovered rules and facilitates efficient training. We also analyze the quantization error introduced in calculating the gradient in the popular parameterized clipping activation (PACT) technique. Through SAT together with gradient-calibrated PACT, quantized models obtain comparable or even better performance than their full-precision counterparts, achieving state-of-the-art accuracy with consistent improvement over previous quantization methods on a wide spectrum of models including MobileNet-V1/V2 and PreResNet-50.

연구 동기 및 목표

• 양자화 정확도 손실이 축소된 용량 때문인지 아니면 양자화 중 학습 절차 때문인지 분석합니다.
• 양자화된 네트워크에서 기울기 전파를 검토하여 효율적인 학습을 위한 규칙을 도출합니다.
• 양자화 하에서 학습 동역학을 보존하기 위하여 SAT를 제안합니다.
• 활성화 양자화의 기울기 오차를 보정하기 위한 gradient-calibrated PACT (CG-PACT)를 조사합니다.
• ImageNet에서 양자화 하에 MobileNet-V1/V2 및 PreResNet-50의 최첨단 성능을 입증합니다.

제안 방법

• 합성곱/선형 계층에서 유효 가중치로 기울기 전파를 분석하여 두 가지 효율적 학습 규칙(ETR I 및 ETR II)을 도출합니다.
• 클램핑 및 양자화 후 가중치 분산을 적절하게 유지하기 위해 scale-adjusted training (SAT)를 제안합니다.
• 훈련 역학을 보존하기 위해 가중치 클램핑 및 SAT와 함께 DoReFa 가중치 양자화를 평가합니다.
• PACT 활성화 양자기에 대한 그래디언트 계산을 보정하기 위해 CG-PACT를 도입합니다.
• SAT와 CG-PACT를 결합하고 ImageNet에서 MobileNet-V1/V2 및 PreResNet-50을 벤치마크하여 기존 양자화 방법과 비교합니다.

실험 결과

연구 질문

• RQ1 양자화 네트워크의 정확도 하락은 주로 축소된 용량 때문인가, 아니면 양자화 동안의 학습 비효율성 때문인가?
• RQ2 양자화 네트워크의 수렴적이고 효율적인 학습을 보장하기 위한 필요한 규칙은 무엇인가?
• RQ3 가중치가 클램핑되거나 양자화될 때 SAT가 효율적인 학습을 회복할 수 있는가?
• RQ4 PACT의 활성화 기울기를 보정하는 CG-PACT가 저정밀 학습을 향상시키는가?
• RQ5 SAT와 CG-PACT가 ImageNet에서 인기 있는 아키텍처 전반에 걸쳐 최첨단 결과를 낳는가?

주요 결과

• SAT는 클램핑 및 양자화 후 가중치 분산을 적절한 범위로 유지함으로써 효율적인 학습을 유지하는 데 도움을 준다.
• 양자화 모델은 SAT가 있을 때 MobileNet-V1/V2 및 PreResNet-50에서 전체 정밀도 대응 모델과 비슷하거나 더 나은 성능을 달성할 수 있다.
• CG-PACT는 PACT 클리핑 매개변수에 대한 기울기를 보정하여 저정밀에서의 학습을 향상시킨다.
• SAT와 CG-PACT의 결합은 여러 모델에서 양자화 하에 최첨단 정확도를 달성한다.
• 양자화는 유익한 정규화 효과를 낼 수 있으며, 활성화 양자화는 일부 경우에 일반화 성능을 향상시키는 경우가 많다.