[논문 리뷰] Bit Efficient Quantization for Deep Neural Networks

Prateeth Nayak, David Zhang외 1명|arXiv (Cornell University)|2019. 10. 07.

Advanced Neural Network Applications참고 문헌 19인용 수 11

한 줄 요약

이 논문은 데이터 프리(post-training) 양자화 기법을 제안하며, 데이터셋 분포 인식 가중치 클러스터링과 희소성 최적화를 활용하여 정확도 저하를 최소화하면서 3비트 정밀도를 달성한다. 이 방법은 엣지 디바이스에서 비트 효율적인 추론을 가능하게 하며, ImageNet 및 기타 대규모 벤치마크에서 최신 기술 수준의 성능을 유지를 한다.

ABSTRACT

Quantization for deep neural networks have afforded models for edge devices that use less on-board memory and enable efficient low-power inference. In this paper, we present a comparison of model-parameter driven quantization approaches that can achieve as low as 3-bit precision without affecting accuracy. The post-training quantization approaches are data-free, and the resulting weight values are closely tied to the dataset distribution on which the model has converged to optimality. We show quantization results for a number of state-of-art deep neural networks (DNN) using large dataset like ImageNet. To better analyze quantization results, we describe the overall range and local sparsity of values afforded through various quantization schemes. We show the methods to lower bit-precision beyond quantization limits with object class clustering.

연구 동기 및 목표

• 엣지 디바이스에서 최소한의 정확도 저하로 저정밀도 추론을 가능하게 하기 위해.
• 재학습 또는 보정 없이 작동하는 후기 양자화 방법을 개발하기 위해.
• 보정 데이터나 모델 재학습 없이 3비트 양자화를 달성하기 위해.
• 가중치 분포, 범위 및 희소성이 저비트 양자화 성능에 미치는 영향을 분석하기 위해.
• 객체 클래스 인식 기반 클러스터링을 활용해 전통적 비트 제한을 초월한 양자화를 확장하기 위해.

제안 방법

• 이 방법은 추가 데이터나 보정 없이 사전 학습된 모델에 대해 후기 양자화를 적용한다.
• 데이터 프리 접근 방식을 사용하여 수렴한 모델의 학습된 가중치 분포에서 양자화 수준을 유도한다.
• 의미적 유사성에 기반해 가중치를 그룹화하는 객체 클래스 클러스터링 기법을 도입하여 양자화 효율성을 향상시킨다.
• 가중치 텐서의 전역 범위와 국소 희소성을 분석하여 양자화 방식 선택을 안내한다.
• 데이터셋의 통계적 특성과 양자화 수준를 일치시켜 정확도 저하를 최소화하는 데 최적화한다.
• 모델 파ameter의 분포에 적응하는 비균일 양자화 전략을 적용한다.

실험 결과

연구 질문

• RQ1 재학습이나 보정 데이터 없이 딥 네트워크에서 3비트 양자화를 달성할 수 있는가?
• RQ2 모델 가중치의 분포가 저비트 양자화 정확도에 어떤 영향을 미치는가?
• RQ3 객체 클래스 기반 클러스터링이 기존 기법을 초월해 양자화 효율성을 얼마나 향상시킬 수 있는가?
• RQ4 희소성과 저비트 폭에서의 양자화 성능 간의 관계는 무엇인가?
• RQ5 데이터 프리 후기 양자화가 ImageNet과 같은 대규모 데이터셋에서 최신 기술 수준의 정확도를 유지할 수 있는가?

주요 결과

• 제안된 방법은 ImageNet 및 기타 대규모 DNN에서 정확도 저하를 거의 느끼지 못하면서 3비트 양자화를 달성한다.
• 데이터 프리 후기 양자화 기법은 재학습이나 보정 데이터 없이도 모델 성능을 유지한다.
• 객체 클래스 클러스터링은 의미적 가중치 그룹과 양자화 수준를 일치시켜 양자화 효율성을 크게 향상시킨다.
• 이 방법은 높은 국소 희소성과 최적의 다이내믹 범위를 유지하여 양자화 오차를 감소시킨다.
• 양자화 결과는 가중치 분포와 희소성이 저비트 성능을 결정하는 데 핵심 요소임을 보여준다.
• 다양한 아키텍처에서 정확도를 유지하면서도 비트 효율성에서 최신 기술 수준의 성능을 입증한다.