[논문 리뷰] Understanding the Impact of Precision Quantization on the Accuracy and Energy of Neural Networks

Soheil Hashemi, Nicholas Anthony외 3명|arXiv (Cornell University)|2016. 12. 12.

Advanced Neural Network Applications참고 문헌 18인용 수 7

한 줄 요약

이 논문은 딥 네ural 네트워크에서 정밀도 양자화, 정확도, 에너지 효율성 간의 상충 관계를 조사한다. 저자는 정확도 손실을 줄이기 위한 학습 기법을 제안하고, 더 크고 낮은 정밀도의 모델이 더 작은 전정밀도 모델보다 정확도와 에너지 효율성 측면에서 뛰어나게 되며, 정확도 저하를 최소한으로 유지하면서 최대 94.1%의 에너지 절감을 달성할 수 있음을 입증한다.

ABSTRACT

Deep neural networks are gaining in popularity as they are used to generate state-of-the-art results for a variety of computer vision and machine learning applications. At the same time, these networks have grown in depth and complexity in order to solve harder problems. Given the limitations in power budgets dedicated to these networks, the importance of low-power, low-memory solutions has been stressed in recent years. While a large number of dedicated hardware using different precisions has recently been proposed, there exists no comprehensive study of different bit precisions and arithmetic in both inputs and network parameters. In this work, we address this issue and perform a study of different bit-precisions in neural networks (from floating-point to fixed-point, powers of two, and binary). In our evaluation, we consider and analyze the effect of precision scaling on both network accuracy and hardware metrics including memory footprint, power and energy consumption, and design area. We also investigate training-time methodologies to compensate for the reduction in accuracy due to limited bit precision and demonstrate that in most cases, precision scaling can deliver significant benefits in design metrics at the cost of very modest decreases in network accuracy. In addition, we propose that a small portion of the benefits achieved when using lower precisions can be forfeited to increase the network size and therefore the accuracy. We evaluate our experiments, using three well-recognized networks and datasets to show its generality. We investigate the trade-offs and highlight the benefits of using lower precisions in terms of energy and memory footprint.

연구 동기 및 목표

• 이산적인 정밀도 수준(이진에서 32비트 부동소수점까지)을 다양하게 변화시켰을 때 신경망 정확도와 하드웨어 효율성에 미치는 영향을 체계적으로 평가하기 위해.
• 학습 시 보정 기법을 통해 저정밀도 네트워크에서 발생하는 정확도 저하 문제를 해결하기 위해.
• 낮은 정밀도로 인한 에너지 절감 효과를 네트워크 크기를 늘리는 데 일부 재투자함으로써 기준 정확도를 복구하거나 초월할 수 있는지 탐색하기 위해.
• 다양한 네트워크 아키텍처와 데이터셋을 대상으로 하드웨어 메트릭(에너지, 면적, 전력)과 추론 정확도 간의 종합적이고 데이터 기반의 분석을 제공하기 위해.
• 저전력 시스템에 실용적으로 구현 가능한 설계의 정확도와 에너지 효율성 간의 트레이드오프를 파레토 경계로 설정하기 위해.

제안 방법

• 32비트 부동소수점, 고정소수점(8, 16, 32비트), 2의 거듭제곱 양자화, 이진 가중치를 포함한 광범위한 정밀도 표현 방식을 평가한다.
• 정확도 손실을 줄이기 위해 학습 중 보정 전략으로 정밀조정 및 재학습을 적용한다.
• 표준, 확장(+), 더 큰 확장(++), 넓이 또는 깊이를 늘린 네트워크 변형을 도입하여 정밀도 손실을 보완한다.
• 메모리 프로파일, 에너지 소비, 설계 면적과 같은 하드웨어 인식 메트릭을 시뮬레이션 및 하드웨어 모델링을 통해 측정한다.
• 다양한 정밀도 수준과 네트워크 크기 간의 트레이드오프를 비교하기 위해 파레토 경계 시각화 기법을 사용하며, 최적의 설계 포인트를 강조한다.
• 일반성 확보를 위해 CIFAR-10 데이터셋을 사용해 세 가지 벤치마크 네트워크(ALEX, ALEX+, ALEX++)에서 결과를 검증한다.

실험 결과

연구 질문

• RQ1 네트워크 가중치와 활성화에서 비트 정밀도를 낮추면 다양한 네트워크 아키텍처에서 추론 정확도에 어떤 영향을 미치는가?
• RQ2 정밀조정 및 재학습과 같은 학습 시 기법이 저정밀도 네트워크에서 발생하는 정확도 저하를 어느 정도 보완할 수 있는가?
• RQ3 낮은 정밀도 표현으로부터 얻는 에너지 절감 효과를 효과적으로 네트워크 크기를 늘리는 데 재투자하여 전정밀도 모델의 정확도를 복구하거나 초월할 수 있는가?
• RQ4 저전력 추론 시스템에서 정밀도, 네트워크 크기, 하드웨어 효율성(에너지, 면적, 전력) 간의 최적 균형은 무엇인가?
• RQ5 실세계 벤치마크에서 고정소수점, 2의 거듭제곱, 이진 등 다양한 양자화 방식이 정확도와 에너지 효율성 측면에서 어떻게 비교되는가?

주요 결과

• 고정소수점(8,8)은 전정밀도(32,32) 대비 정확도 저하 3.23%로 CIFAR-10에서 85.34%의 에너지 절감을 달성했다.
• 이진 네트워크(1,16)는 에너지 소비를 335.68 μJ에서 19.79 μJ로 줄여 94.10%의 에너지 절감을 이뤘으며, 정확도 74.84%를 유지했다.
• 2의 거듭제곱 양자화(6,16)를 적용한 확장된 네트워크 ALEX++는 81.26%의 정확도와 35.93%의 에너지 절감을 기록했으며, 전정밀도 기준선을 모두 초월했다.
• 더 크고 낮은 정밀도의 네트워크인 Binary Net++(1,16)는 80.52%의 정확도와 72.89%의 에너지 절감을 달성했으며, 정확도 손실을 아키텍처 확장으로 복구할 수 있음을 보여주었다.
• 고정소수점(4,4)는 CIFAR-10에서 수렴하지 못했으며, 이는 학습 안정성이 손상되는 정밀도의 하한을 시사한다.
• 파레토 경계 분석을 통해 더 크고 낮은 정밀도의 네트워크가 에너지 효율성과 정확도 측면에서 전정밀도 모델을 압도할 수 있으며, 특히 에너지 절감 효과를 일부 모델 크기 증가에 재투자할 경우 더욱 두드러진다.