[논문 리뷰] Neural Network Quantization for Efficient Inference: A Survey

Olivia Weng|arXiv (Cornell University)|2021. 12. 08.

Neural Networks and Applications인용 수 23

한 줄 요약

이 종합 검토는 효율적인 추론을 위한 신경망 양자화 기법을 검토하며, 정밀도를 32비트 부동소수점에서 8비트 정수와 같은 낮은 비트 폭으로 낮추면서 정확도를 유지하는 데 중점을 둡니다. 혼합 정밀도 양자화, 하이브리드 양자화 기법, 그리고 정량화를 프루닝 및 지식 증류와 융합하여 최적의 하드웨어 배포를 위한 향후 연구 방향을 제안합니다.

ABSTRACT

As neural networks have become more powerful, there has been a rising desire to deploy them in the real world; however, the power and accuracy of neural networks is largely due to their depth and complexity, making them difficult to deploy, especially in resource-constrained devices. Neural network quantization has recently arisen to meet this demand of reducing the size and complexity of neural networks by reducing the precision of a network. With smaller and simpler networks, it becomes possible to run neural networks within the constraints of their target hardware. This paper surveys the many neural network quantization techniques that have been developed in the last decade. Based on this survey and comparison of neural network quantization techniques, we propose future directions of research in the area.

연구 동기 및 목표

• 최근 10년간의 신경망 양자화 기법의 발전을 종합적으로 검토하기 위해.
• 양자화된 추론에서 모델 정밀도, 정확도, 하드웨어 효율성 간의 상충 관계를 분석하기 위해.
• 정확도 저하 및 하드웨어 호환성과 같은 정량화의 주요 과제를 규명하기 위해.
• 에지 및 임베디드 시스템에서 정량화를 향상시키기 위한 향후 연구 방향을 제안하기 위해.
• 정량화를 프루닝 및 지식 증류와 같은 다른 압축 기법과 융합하는 방법을 탐색하기 위해.

제안 방법

• 지난 10년간의 100개 이상의 정량화 기법을 조사하여 정밀도 감소 전략과 하드웨어 호환성 기준으로 분류함.
• 후기 훈련 정량화(PTQ), 정량화 인식 훈련(QAT), 혼합 정밀도 접근법을 활용한 정량화 방법의 평가.
• HAWQ, BSQ, 동적 정량화와 같은 기법이 레이어별로 비트 폭과 동적 범위를 최적화하는 방식을 분석.
• 스텝 크기 및 동적 범위와 같은 학습 가능한 파라미터를 사용하여 정확도 손실 없이 레이어별 정량화를 가능하게 함.
• 정수, 고정소수점, 고유 데이터 형식 지원 여부를 평가하여 산술 요구 사항과 함께 하드웨어 효율성 평가.
• 합성 정량화 기법(예: 2의 거듭제곱 합과 고정소수점의 조합)을 통해 하드웨어 효율성 향상 및 압축 개선을 제안함.

실험 결과

연구 질문

• RQ1 정확도를 유지하면서 모델 크기와 추론 지연을 줄이는 데 가장 효과적인 정량화 기법은 무엇인가요?
• RQ2 딥 신경망의 과잉 매개변수화는 정확도 저하 없이 어떻게 상당한 정밀도 감소를 가능하게 하나요?
• RQ3 하드웨어 효율성과 구현 복잡성 측면에서 서로 다른 정량화 기법 간의 상충 관계는 무엇인가요?
• RQ4 맞춤형 하드웨어 가속기에서 혼합 정밀도 및 하이브리드 정량화 전략을 어떻게 최적화할 수 있나요?
• RQ5 프루닝 및 지식 증류와 같은 다른 압축 기법과의 최적 조합은 무엇인가요?

주요 결과

• 다른 레이어가 서로 다른 비트 폭을 사용하는 혼합 정밀도 정량화는 최소한의 정확도 손실로 높은 압축률을 달성함.
• 학습 가능한 스텝 크기와 동적 범위를 활용한 정량화 인식 훈련(QAT)은 초기 훈련 또는 고정 정량화 기법보다 우수한 성능을 보임.
• 비트 수준의 희소성 정량화(BSQ)는 전통적인 혼합 정밀도 방법보다 더 높은 압축률을 달성하며 정확도 손실이 극미미하게 유지됨.
• 레이어별 최적화된 소수점 비트 수를 가진 고정소수점 정량화는 정수 산술과 유사한 하드웨어 효율성을 제공하지만 아직 충분히 탐색되지 않음.
• 정량화 기법의 조합(예: 2의 거듭제곱 합과 고정소수점의 조합)은 최근 FPGA 기반 결과에서 보듯이 더 효율적인 하드웨어 배포를 가능하게 함.
• 정량화를 프루닝 및 지식 증류와 융합할 잠재력은 크지만, 최적의 조합은 아직 대부분 탐색되지 않음.