[논문 리뷰] Quantization for Rapid Deployment of Deep Neural Networks

Jun Haeng Lee, Sangwon Ha외 3명|arXiv (Cornell University)|2018. 10. 12.

Advanced Neural Network Applications참고 문헌 22인용 수 27

한 줄 요약

이 논문은 보정 없이 8비트 고정점 가속기로 전체 정밀도 DNN을 빠르게 구현하기 위한 채널별 양자화를 제안한다. 최대 활성화 값 대신 통계적 모멘트(예: 라플라스 분포 피팅)를 사용해 각 채널의 분수 비트 길이를 적응적으로 조정함으로써, 양자화 오차를 감소시키고 몇 개의 캘리브레이션 샘플만으로도 거의 정확도 손실이 없는 성능을 달성한다.

ABSTRACT

This paper aims at rapid deployment of the state-of-the-art deep neural networks (DNNs) to energy efficient accelerators without time-consuming fine tuning or the availability of the full datasets. Converting DNNs in full precision to limited precision is essential in taking advantage of the accelerators with reduced memory footprint and computation power. However, such a task is not trivial since it often requires the full training and validation datasets for profiling the network statistics and fine tuning the networks to recover the accuracy lost after quantization. To address these issues, we propose a simple method recognizing channel-level distribution to reduce the quantization-induced accuracy loss and minimize the required image samples for profiling. We evaluated our method on eleven networks trained on the ImageNet classification benchmark and a network trained on the Pascal VOC object detection benchmark. The results prove that the networks can be quantized into 8-bit integer precision without fine tuning.

연구 동기 및 목표

• 완전 정밀도 DNN을 저정밀도 가속기로 배포할 때 전체 훈련/검증 데이터셋에 접근할 수 없는 상황에서도 도전 과제를 해결하기 위해.
• 층별 양자화가 상호 채널 동적 범위 변화를 고려하지 못해 발생하는 정확도 저하 문제를 해결하기 위해.
• 상세한 보정 또는 대규모 프로파일링이 필요로 하는 최신 DNN의 빠른 배포를 가능하게 하기 위해.
• 최대 활성화 값 대신 고차 통계적 모멘트를 활용해 양자화에 필요한 캘리브레이션 샘플 수를 줄이기 위해.

제안 방법

• 각 채널의 동적 범위에 따라 독립적으로 분수 비트 길이를 결정하는 채널별 양자화를 도입하며, 이는 층 전체에 동일한 분수 비트 길이를 적용하는 방식이 아니다.
• 최대 값 기반 양자화를 통계 모멘트 기반 추정(예: 라플라스, 코시, 또는 PDF 인식 피팅)으로 대체하여, 더 적은 샘플 수로 최적의 양자화 파라미터를 추정한다.
• 통계적 특징(예: n차 모멘트)을 사용해 각 채널에 가장 적합한 확률 분포를 선택함으로써 양자화 정확도를 향상시킨다.
• 활성화 및 가중치 모두에 8비트 선형 양자화를 채널 수준에서 적용하여 정보 손실을 최소화하면서도 저비용 하드웨어 비용을 유지한다.
• 각 채널의 통계적 프로파일에 기반해 최적의 확률 분포 모델을 선택하는 경량 분류기를 구현한다.
• 전체 데이터셋에 접근할 필요 없이 소수의 대표 이미지만으로도 양자화 파라미터를 캘리브레이션한다.

실험 결과

연구 질문

• RQ1 층별 양자화에 비해 채널별 양자화가 현대 DNN의 8비트 양자화에서 정확도 손실을 줄일 수 있는가?
• RQ2 라플라스, 코시 등 통계적 모멘트 추정이 최대 값 프로파일링을 대체하여 필요한 캘리브레이션 샘플 수를 얼마나 줄일 수 있는가?
• RQ3 PDF 인식 선택 전략이 채널별 활성화 분포를 더 정확히 모델링함으로써 양자화 정확도를 향상시킬 수 있는가?
• RQ4 보정 없이 소수의 샘플만으로도 8비트 양자화에서 거의 정확도 손실이 없는 성능을 달성할 수 있는가?

주요 결과

• 제안된 채널별 양자화 방법은 테스트한 12개 네트워크 중 11개에서 정확도 손실을 1%p 이내로 줄였으며, ImageNet에 있는 최신 모델들 역시 포함되어 있다.
• Inception-v3에서 라플라스 기반 방법은 단 100개의 캘리브레이션 샘플만으로도 정확도가 안정화되었고, MAX 방법은 수렴하기 위해 훨씬 더 많은 샘플이 필요했다.
• Pascal VOC 객체 검출을 위한 YOLO-v2에서, 본 방법은 8비트 양자화 후 평균 AP 손실이 0.14%에 그쳤고, 층별 양자화 대비 2.50%의 손실을 보였다.
• PDF 인식 방법은 YOLO-v2에서 평균 AP 손실 0.38%를 기록하여, 단순 최대 값 기반 방법에 비해 분포 인식 양자화의 유용성을 입증했다.
• 본 방법은 보정 없이도 몇 백 개의 캘리브레이션 샘플만으로도 전체 정밀도 DNN을 8비트 고정점 가속기로 배포할 수 있게 했다.
• 최대 값 대신 통계적 모멘트를 사용함으로써 필요한 캘리브레이션 샘플 수를 감소시키면서도 양자화 정확도를 유지하거나 향상시켰다.