[논문 리뷰] Fast Adjustable Threshold For Uniform Neural Network Quantization (Winning solution of LPIRC-II)

Alexander Goncharenko, Andrey Denisov외 2명|arXiv (Cornell University)|2018. 12. 19.

Advanced Neural Network Applications참고 문헌 28인용 수 6

한 줄 요약

이 논문은 후기 훈련 양자화 중 정확도 저하를 크게 줄이는 빠르고 훈련 가능한 임계값 조정 방법을 제안한다. 짧은 보정 훈련 단계(최대 8 에포크) 동안 양자화 임계값에 대한 스케일 인자들을 학습시킴으로써, 이 방법은 최소한의 데이터 및 계산 비용으로 높은 정확도를 가지는 양자화 모델을 가능하게 한다. MNASNet을 사용하여 ImageNet에서 74.8%의 상위-1 정확도를 달성하였으며, 이는 전체 정밀도 모델의 75.3%에 비해 약간 낮은 수준이다.

ABSTRACT

Neural network quantization procedure is the necessary step for porting of neural networks to mobile devices. Quantization allows accelerating the inference, reducing memory consumption and model size. It can be performed without fine-tuning using calibration procedure (calculation of parameters necessary for quantization), or it is possible to train the network with quantization from scratch. Training with quantization from scratch on the labeled data is rather long and resource-consuming procedure. Quantization of network without fine-tuning leads to accuracy drop because of outliers which appear during the calibration. In this article we suggest to simplify the quantization procedure significantly by introducing the trained scale factors for quantization thresholds. It allows speeding up the process of quantization with fine-tuning up to 8 epochs as well as reducing the requirements to the set of train images. By our knowledge, the proposed method allowed us to get the first public available quantized version of MNAS without significant accuracy reduction - 74.8% vs 75.3% for original full-precision network. Model and code are ready for use and available at: https://github.com/agoncharenko1992/FAT-fast_adjustable_threshold.

연구 동기 및 목표

• 캘리브레이션 동안 이상치로 인해 발생하는 후기 훈련 양자화에서의 정확도 저하 문제를 해결하기 위해.
• 모델 정확도를 희생시키지 않으면서 양자화 보정 훈련을 위한 계산 및 데이터 요구량을 줄이기 위해.
• 최소한의 성능 손실로 모바일 장치에 효율적으로 배포 가능한 양자화 모델을 가능하게 하기 위해.
• 간단하고 훈련 가능한 임계값 메커니즘을 사용하여 공개적으로 이용 가능한 고정확도의 MNASNet 양자화 버전을 제공하기 위해.

제안 방법

• 고정된 캘리브레이션 기반 임계값을 대체하기 위해 양자화 임계값에 대한 학습 가능한 스케일 인자를 도입한다.
• 라벨이 부여된 데이터를 사용하여 이 스케일 인자를 학습하기 위해 짧은 보정 훈련 단계(최대 8 에포크)를 적용한다.
• 대칭 또는 비대칭 범위를 갖는 균일한 양자화를 사용하며, 학습된 파rameter를 통해 임계값을 조정한다.
• 스케일 인자를 엔드 투 엔드로 훈련할 수 있도록 미분 가능한 양자화 함수를 활용한다.
• 보정 훈련 동안 강건한 임계값을 학습함으로써 대규모 캘리브레이션 데이터셋에 대한 의존도를 줄인다.
• MNASNet과 같은 전체 정밀도 모델에 이 방법을 적용하여 배포용으로 사용 가능한 양자화된 버전을 가능하게 한다.

실험 결과

연구 질문

• RQ1 지나치게 긴 보정 훈련 없이도, 훈련 가능한 임계값 메커니즘이 후기 훈련 양자화에서 정확도 저하를 줄일 수 있는가?
• RQ2 이 방법을 사용할 경우, 높은 정확도의 양자화 모델을 얻기 위해 얼마나 많은 보정 훈련이 필요한가?
• RQ3 이 방법은 모델 성능을 유지하면서도 캘리브레이션을 위한 데이터 요구량을 줄일 수 있는가?
• RQ4 이 방법은 MNASNet과 같은 최신 기술 모델에 대해 어떤 정확도 영향을 미치는가?
• RQ5 제안된 방법은 다양한 신경망 아키텍처에 일반화 가능한가?

주요 결과

• 이 방법은 보정 훈련을 최대 8 에포크로 줄여 양자화 과정을 크게 가속화한다.
• 이 방법을 사용하여 MNASNet은 ImageNet에서 74.8%의 상위-1 정확도를 달성하였으며, 이는 전체 정밀도 모델의 75.3%에 비해 약간 낮은 성능이다.
• 이 방법은 정확도 저하가 최소한인 첫 공개 가능한 MNASNet 양자화 버전을 가능하게 한다.
• 보정 훈련 동안 강건한 임계값을 학습함으로써 대규모 캘리브레이션 데이터셋에 대한 의존도를 줄인다.
• 모델과 코드는 공개되어 있으며, 즉시 모바일 장치에 배포할 수 있도록 준비되어 있다.