[논문 리뷰] Power-of-Two Quantization for Low Bitwidth and Hardware Compliant Neural Networks

Dominika Przewłocka-Rus, Syed Shakib Sarwar외 3명|arXiv (Cornell University)|2022. 03. 09.

Advanced Memory and Neural Computing인용 수 15

한 줄 요약

이 논문은 새로운 양자화 인식 학습(QAT) 알고리즘을 사용하여 저비트 폭, 하드웨어 호환성 있는 신경망을 위한 2의 거듭제곱(PoT) 양자화를 제안한다. 가중치를 2의 거듭제곱으로 표현함으로써 계산 비용이 높은 곱셈 연산을 효율적인 비트 시프트로 대체하여, 전체 정밀도 모델과 비교해도 최신 기술 수준의 정확도를 달성하면서 ASIC 설계에서 8비트 균일 양자화 대비 에너지 소비를 최대 6배 감소시키고 면적을 1.7배 줄였다.

ABSTRACT

Deploying Deep Neural Networks in low-power embedded devices for real time-constrained applications requires optimization of memory and computational complexity of the networks, usually by quantizing the weights. Most of the existing works employ linear quantization which causes considerable degradation in accuracy for weight bit widths lower than 8. Since the distribution of weights is usually non-uniform (with most weights concentrated around zero), other methods, such as logarithmic quantization, are more suitable as they are able to preserve the shape of the weight distribution more precise. Moreover, using base-2 logarithmic representation allows optimizing the multiplication by replacing it with bit shifting. In this paper, we explore non-linear quantization techniques for exploiting lower bit precision and identify favorable hardware implementation options. We developed the Quantization Aware Training (QAT) algorithm that allowed training of low bit width Power-of-Two (PoT) networks and achieved accuracies on par with state-of-the-art floating point models for different tasks. We explored PoT weight encoding techniques and investigated hardware designs of MAC units for three different quantization schemes - uniform, PoT and Additive-PoT (APoT) - to show the increased efficiency when using the proposed approach. Eventually, the experiments showed that for low bit width precision, non-uniform quantization performs better than uniform, and at the same time, PoT quantization vastly reduces the computational complexity of the neural network.

연구 동기 및 목표

• 8비트 이하에서 균일 양자화로 인한 정확도 저하 문제를 해결하기 위해.
• 특히 네트워크 가중치의 비균일 분포를 더 잘 유지하는 비균일 양자화 기법—구체적으로 2의 거듭제곱(PoT) 및 추가형 PoT(APoT)—를 탐색하기 위해.
• FPGA 및 ASIC 플랫폼을 위한 PoT 양자화를 활용한 하드웨어 효율적인 MAC 유닛의 설계 및 평가를 위해.
• PoT 양자화가 모델 정확도를 손상시키지 않으면서 메모리, 전력, 면적 사용을 크게 줄일 수 있음을 입증하기 위해.

제안 방법

• 2의 거듭제곱(PoT) 가중치를 갖는 딥 신경망을 훈련하기 위한 STE 기반의 양자화 인식 학습(QAT) 알고리즘을 제안한다.
• 특히 ImageNet 모델에서 정확도를 향상시키기 위해 동적 고정점 스케일링(FSR)을 사용한다.
• PoT 및 APoT 가중치를 위한 곱셈을 피하는 비트 시프트 연산으로 대체하는 다중화 없음(Multiplier-less) MAC 유닛을 설계한다.
• 5nm 공정 기반으로 FPGA 및 ASIC 플랫폼에서 균일, PoT, APoT 세 가지 MAC 유닛 설계를 합성하고 비교한다.
• 합성 후 분석을 통해 다양한 양자화 방식에서 면적, 전력, 에너지 효율성을 평가한다.
• 8x8 균일, 4x8 균일, PoT, APoT MAC 유닛 간 자원 사용(LUTs, FFs, DSPs) 및 전력 소비를 비교한다.

실험 결과

연구 질문

• RQ1 2의 거듭제곱(PoT) 양자화가 저비트 폭 신경망에서 최신 기술 수준의 정확도를 달성하면서도 하드웨어 효율적인 추론을 가능하게 할 수 있는가?
• RQ2 FPGA 및 ASIC 플랫폼에서 PoT 양자화가 균일 및 APoT 양자화 대비 하드웨어 자원 사용 및 에너지 효율성에서 어떻게 비교되는가?
• RQ3 제안된 QAT 알고리즘이 모든 레이어를 4비트 이하 정밀도로 양자화할 때 모델 정확도를 얼마나 잘 유지하는가?
• RQ4 MAC 유닛에서 곱셈을 비트 시프트로 대체하면 DNN 가속기의 전력 소비와 면적 소비를 크게 줄일 수 있는가?
• RQ5 PoT 양자화가 가중치 비트 폭 감소와 DRAM 트랜잭션 감소로 인해 메모리 대역폭과 누설 전력 감소에 기여하는가?

주요 결과

• 5nm ASIC 합성에서 4비트 PoT 양자화를 사용할 경우, 제안된 MAC 유닛은 8x8 균일 MAC 유닛 대비 에너지 소비를 6배 감소시키고 면적을 1.7배 줄였다.
• PoT MAC 유닛은 4x8 균일 MAC 유닛 대비 2배의 전력 소비를 절감하여 곱셈을 비트 시프트로 대체함으로써 뚜렷한 에너지 절감 효과를 입증했다.
• FPGA에서 PoT 설계는 39개의 LUT과 25개의 FF를 사용하여 4x8 균일 MAC(46개의 LUT, 27개의 FF)보다 면적 효율성이 뛰어났다.
• APoT MAC 유닛은 55개의 LUT과 49개의 FF를 사용하여 PoT 유닛 대비 약 두 배의 자원을 요구하지만, 더 높은 정확도를 제공한다.
• 동적 FSR를 통한 제안된 QAT 알고리즘은 ImageNet에서 DeepShift를 초월하여 4비트 PoT 네트워크에서 이전 작업을 능가하는 높은 정확도를 달성했다.
• 낮은 비트 폭 저장 덕분에 메모리 대역폭과 누설 전력이 감소하여 추론 속도 향상과 에너지 효율성 향상이 이루어졌다.