[논문 리뷰] Efficient non-uniform quantizer for quantized neural network targeting reconfigurable hardware

Natan Liss, Chaim Baskin외 3명|arXiv (Cornell University)|2018. 11. 27.

Advanced Neural Network Applications참고 문헌 22인용 수 5

한 줄 요약

이 논문은 재구성 가능한 FPGA를 대상으로 하드웨어 효율적인 비균일 양자화기를 제안하며, 가중치와 활성화 모두에 단일 스케일 정수 표현을 사용한다. 비균일 양자화를 위해 정규 누적분포함수(CDF)를 활용하고 잔차 블록을 수정하여 동적 범위를 유지함으로써, CIFAR-10 및 CIFAR-100 데이터셋에서 3–4비트 양자화 시 near-ideal 정확도를 달성하며, FPGA에서 정수 연산만을 사용하는 효율적인 추론을 가능하게 한다.

ABSTRACT

Convolutional Neural Networks (CNN) has become more popular choice for various tasks such as computer vision, speech recognition and natural language processing. Thanks to their large computational capability and throughput, GPUs ,which are not power efficient and therefore does not suit low power systems such as mobile devices, are the most common platform for both training and inferencing tasks. Recent studies has shown that FPGAs can provide a good alternative to GPUs as a CNN accelerator, due to their re-configurable nature, low power and small latency. In order for FPGA-based accelerators outperform GPUs in inference task, both the parameters of the network and the activations must be quantized. While most works use uniform quantizers for both parameters and activations, it is not always the optimal one, and a non-uniform quantizer need to be considered. In this work we introduce a custom hardware-friendly approach to implement non-uniform quantizers. In addition, we use a single scale integer representation of both parameters and activations, for both training and inference. The combined method yields a hardware efficient non-uniform quantizer, fit for real-time applications. We have tested our method on CIFAR-10 and CIFAR-100 image classification datasets with ResNet-18 and VGG-like architectures, and saw little degradation in accuracy.

연구 동기 및 목표

• 재구성 가능한 FPGA 가속기와도 잘 어울리며 하드웨어 효율적인 비균일 양자화기를 설계하는 것.
• 특히 극한의 비트 폭 제약 하에서 모델 정확도를 유지하는 데 어려움을 겪는 균일 양자화의 한계를 해결하는 것.
• 단일 스케일 인자로 가중치와 활성화를 모두 고정소수점 정수로 표현하여 정수 연산만을 사용하는 추론을 가능하게 하는 것.
• 잔차 블록 아키텍처를 수정하여 동적 범위를 유지하고, 양자화 과정에서 정확도 저하를 방지하는 것.
• 3–4비트 저비트 양자화 하에서 ResNet-18 및 VGG 유사 아키텍처를 사용하여 CIFAR-10 및 CIFAR-100에서 최소한의 정확도 손실을 기록하며 방법을 평가하는 것.

제안 방법

• 모델 파라미터와 활성화 모두에 정규 CDF 기반 비균일 양자화기를 사용하여 균일 양자화를 대체함으로써 활성화 및 가중치의 실제 분포에 더 잘 부합한다.
• 가중치와 활성화 모두에 단일 스케일 정수 표현을 적용하여 오직 정수 산술만을 사용하는 효율적인 하드웨어 매핑을 가능하게 한다.
• 잔차 연결 이전에 활성화 함수를 적용하도록 잔차 블록을 재구성하여 잔차 경로의 동적 범위를 유지하고, 저해상도 설정에서 포화 현상을 방지한다.
• 진행적 양자화 학습 기법을 사용하여 첫 번째 레이어부터 마지막 레이어까지 단계적으로 양자화함으로써 안정적인 수렴과 모델 발산 방지를 확보한다.
• 백프로파게이션를 사용한 학습 파이프라인에 양자화 과정을 통합하며, 가중치는 정밀도 유지 복사본을 사용하고, 순방향 전파에서는 양자화된 값을 사용한다.
• 완전히 부동소수점 연산을 회피하고, 비트 시프트와 정수 산술만을 사용하여 FPGA에 효율적으로 구현할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 정규 CDF 기반 비균일 양자화기가 FPGA 배포를 위한 저비트 DNN에서 균일 양자화보다 정확도를 향상시킬 수 있는가?
• RQ2 정수 연산만을 사용하여 가중치와 활성화를 효과적으로 표현하면서도 모델 정확도를 유지할 수 있는가?
• RQ3 정수 연산만을 사용하는 저비트 양자화 하에서 잔차 네트워크의 동적 범위를 유지하기 위해 어떤 아키텍처 수정이 필요한가?
• RQ4 균일 양자화에 비해 제안된 방법이 FPGA에서 하드웨어 자원 사용을 얼마나 줄일 수 있는가?
• RQ5 이 방법이 CIFAR-10 및 CIFAR-100과 같은 표준 이미지 분류 벤치마크에서 3–4비트 정밀도로 near-ideal 정확도를 달성할 수 있는가?

주요 결과

• CIFAR-10에서 ResNet-18은 4비트 가중치와 활성화를 사용하여 상위-1 정확도 93.45%를 기록했으며, 전체 정밀도 기준선 93.76%보다 0.31% 뿐 낮았다.
• CIFAR-100에서 ResNet-18은 4비트 양자화로 상위-1 정확도 71.71%를 달성했으며, 32비트 기준선 73.95%보다 2.24%포인트 낮았다.
• VGG 유사 아키텍처는 양자화 시 약간 더 높은 정확도 저하를 보였으며, 3비트 가중치와 활성화로 CIFAR-100에서 63.1%의 정확도를 기록했고, 32비트 기준선 대비 4.0%포인트 낮았다.
• 수정된 잔차 블록 설계가 잔차 경로의 동적 범위를 성공적으로 유지하여, 저비트 설정에서 포화로 인한 정확도 저하를 방지했다.
• 이 방법은 부동소수점 연산 없이도 전체 정수 연산 추론을 가능하게 하여 FPGA에서 하드웨어 자원 사용을 크게 줄이고 에너지 효율성을 향상시켰다.
• 결과적으로 정규 CDF 함수를 사용한 비균일 양자화가, 스킵 연결이 있는 잔차 네트워크에서 조차 3–4비트 정밀도에서도 모델 정확도를 유지하는 데 효과적임을 입증했다.