[논문 리뷰] ACIQ: Analytical Clipping for Integer Quantization of neural networks

Ron Banner, Yury Nahshan외 2명|arXiv (Cornell University)|2018. 09. 27.

Sparse and Compressive Sensing Techniques참고 문헌 16인용 수 82

한 줄 요약

이 논문은 양자화 노이즈와 클리핑 왜곡을 최소화하기 위해 클리핑 값을 최적화하는 텐서 수준의 분석적 클리핑 방법인 ACIQ를 소개한다. 클리핑으로 인한 열악한 영향에 대한 정확한 평균 제곱 오차 표현을 유도함으로써, ACIQ는 피드백 없이도 4비트 VGG16-BN에서 40퍼센트 이상의 정확도 향상을 달성한다.

ABSTRACT

Unlike traditional approaches that focus on the quantization at the network level, in this work we propose to minimize the quantization effect at the tensor level. We analyze the trade-off between quantization noise and clipping distortion in low precision networks. We identify the statistics of various tensors, and derive exact expressions for the mean-square-error degradation due to clipping. By optimizing these expressions, we show marked improvements over standard quantization schemes that normally avoid clipping. For example, just by choosing the accurate clipping values, more than 40\% accuracy improvement is obtained for the quantization of VGG16-BN to 4-bits of precision. Our results have many applications for the quantization of neural networks at both training and inference time. One immediate application is for a rapid deployment of neural networks to low-precision accelerators without time-consuming fine tuning or the availability of the full datasets.

연구 동기 및 목표

• 저해상도 신경망에서 양자화 노이즈와 클리핑 왜곡 사이의 상충 관계를 해결하기 위해.
• 정수 양자화에서 클리핑으로 인한 평균 제곱 오차 감소를 최소화하기 위해 텐서 수준에서 최적화하기 위해.
• 전체 훈련 데이터셋이나 시간이 오래 걸리는 피드백 없이도 양자화 정확도를 향상시키는 방법을 개발하기 위해.
• 최적화된 클리핑 값으로 인해 엣지 가속기에서 저해상도 모델을 신속하게 배포할 수 있도록 하기 위해.

제안 방법

• 층 간 활성화 텐서의 통계적 성질을 분석하여 클리핑 결정을 지원한다.
• 저해상도 양자화에서 클리핑으로 인한 평균 제곱 오차 감소에 대한 정확한 분석적 표현을 유도한다.
• 유도된 평균 제곱 오차 표현을 최소화함으로써 텐서 수준에서 클리핑 값을 최적화한다.
• 최적화된 클리핑 값을 훈련 및 추론 모두에 적용하여 더 높은 양자화 정확도를 달성한다.
• 유도된 표현을 사용하여 기존의 양자화 방법에서 흔히 볼 수 있는 히우리스틱 클리핑 선택을 피한다.

실험 결과

연구 질문

• RQ1 클리핑 왜곡은 저해상도 양자화된 네트워크에서 정확도 저하에 어떻게 기여하는가?
• RQ2 클리핑 값의 분석적 최적화는 표준 방법보다 양자화 오차를 더 효과적으로 줄일 수 있는가?
• RQ3 정확한 클리핑은 피드백 없이 4비트 양자화 정확도를 어느 정도 향상시킬 수 있는가?
• RQ4 제안된 방법은 저해상도 가속기에서 양자화된 모델의 신속한 배포를 가능하게 하는가?

주요 결과

• 분석적 표현을 통한 클리핑 값 최적화로 저해상도 양자화에서 평균 제곱 오차 감소가 감소한다.
• 표준 클리핑 대비 최적 클리핑 값을 사용함으로써 4비트 양자화된 VGG16-BN에서 40퍼센트 이상의 정확도 향상을 달성한다.
• 이 방법은 전체 훈련 데이터셋이 필요 없거나 반복적인 피드백이 필요 없이도 고정밀도 양자화를 가능하게 한다.
• 이 방법은 훈련 및 추론 모두에 적용 가능하여 저해상도 하드웨어에서의 빠른 배포를 지원한다.