[논문 리뷰] A Survey on Methods and Theories of Quantized Neural Networks

Yunhui Guo|arXiv (Cornell University)|2018. 08. 13.

Advanced Neural Network Applications참고 문헌 77인용 수 204

한 줄 요약

본 개관은 양자화 신경망에 대해 포괄적으로 검토하며, 양자화 기법(결정론적, 확률적, 확률론적), 가중치, 활성화 및 기울임의 양자화 방법, 최적화 프레임워크, 학습 및 배치와 관련된 실용적 도전과제를 다룹니다.

ABSTRACT

Deep neural networks are the state-of-the-art methods for many real-world tasks, such as computer vision, natural language processing and speech recognition. For all its popularity, deep neural networks are also criticized for consuming a lot of memory and draining battery life of devices during training and inference. This makes it hard to deploy these models on mobile or embedded devices which have tight resource constraints. Quantization is recognized as one of the most effective approaches to satisfy the extreme memory requirements that deep neural network models demand. Instead of adopting 32-bit floating point format to represent weights, quantized representations store weights using more compact formats such as integers or even binary numbers. Despite a possible degradation in predictive performance, quantization provides a potential solution to greatly reduce the model size and the energy consumption. In this survey, we give a thorough review of different aspects of quantized neural networks. Current challenges and trends of quantized neural networks are also discussed.

연구 동기 및 목표

• 메모리 및 에너지 사용 감소를 위한 신경망 양자화의 동기와 영향 평가.
• 가중치, 활성화 및 기울임에 대한 양자화 기법(결정론적, 확률적, 확률론적)을 분류하고 비교하며 그 적용을 정리.
• 효과적인 양자화를 가능하게 하는 최적화 구성 및 학습 전략 논의.
• 다양한 네트워크 구성 요소의 양자화 방법과 하드웨어 고려사항에 대한 실용적 방법 요약

제안 방법

• 양자화 기법을 결정론적, 확률적, 확률론적 접근으로 분류한다.
• 가중치, 활성화, 기울임 양자화 및 각자의 도전을 설명한다.
• 최적화 구성(예: J(B,α)=||W−αB||^2, ADMM 기반 접근, 손실 인식 이진화)을 제시한다.
• 코드북(고정형 대 적응형)과 일반적 양자화 스킴(이진, 삼진, 2의 거듭제곱)들을 설명한다.
• 학습 전략(STE, 근접 뉴턴, ADMM, 변분 추론)과 수렴성 고려사항을 논의한다.
• 정밀도, 효율성 및 배치에 대한 하드웨어 지향적 방법 비교를 제공한다

실험 결과

연구 질문

• RQ1 신경망에 사용되는 주요 양자화 패러다임은 무엇이며 실제로는 어떻게 차이가 나타나는가?
• RQ2 가중치, 활성화 및 기울임을 성능 저하 없이 양자화하는 방법은 무엇인가?
• RQ3 정책 교육과 포스트 트레이닝 양자화를 통해 양자화된 네트워크를 효과적으로 학습시키는 프레임워크는 무엇인가?
• RQ4 하드웨어에서 양자화된 모델의 학습 및 배치에 있어 실용적 도전과제는 무엇인가?

주요 결과

• 바이너리 네트워크는 MNIST에서 높은 정확도를 달성할 수 있다(예: 바이너리 가중치/활성화로 MNIST에서 98.8%).
• 삼진 네트워크는 ImageNet과 같은 대형 데이터셋에서 일부 경우 전체 정밀도 네트워크와 비슷한 성능을 달성할 수 있다.
• 다수의 최적화 구성(예: XNOR-net, 손실 인식 이진화, ADMM 기반 방법)은 정확도 유지와 함께 효과적인 양자화를 가능하게 한다.
• 벡터 양자화 및 곱 양자화는 공격적으로 압축이 가능하나 일반적으로 학습-from-scratch보다는 사전 학습된 모델에 적용된다.
• 확률적 양자화와 베이지안 관점은 희소한 모델과 해석 가능한 가중치 분포를 제공하나 일부 아키텍처에 대한 모델링 어려움과 한계가 있을 수 있다.
• 결정론적 양자화는 하드웨어 가속화 및 고정 코드북에 유리하며, 확률적/확률론적 방법은 정규화 및 해석 가능성을 제공한다.