[논문 리뷰] Exploration of Low Numeric Precision Deep Learning Inference Using Intel FPGAs

Philip Colangelo, Nasibeh Nasiri외 4명|arXiv (Cornell University)|2018. 06. 12.

Advanced Neural Network Applications참고 문헌 16인용 수 25

한 줄 요약

이 논문은 1비트 및 2비트 데이터 폭을 사용하는 저정밀도 딥 러닝 추론을 위한 맞춤형 FPGA 기반 하드웨어 가속기를 제시한다. 이는 높은 처리량과 에너지 효율성을 달성한다. ImageNet에서 2비트 활성화와 삼항 가중치를 가진 AlexNet이 3,700장/초의 속도로 49%의 top-1 정확도를 달성했으며, Stratix 10 FPGA를 사용해 ResNet-34에서 단일 정밀도 성능에 근접한 성능(정확도 저하 3.7%)을 구현했다.

ABSTRACT

CNNs have been shown to maintain reasonable classification accuracy when quantized to lower precisions. Quantizing to sub 8-bit activations and weights can result in accuracy falling below an acceptable threshold. Techniques exist for closing the accuracy gap of limited numeric precision typically by increasing computation. This results in a trade-off between throughput and accuracy and can be tailored for different networks through various combinations of activation and weight data widths. Hardware architectures like FPGAs provide the opportunity for data width specific computation through unique logic configurations leading to highly optimized processing that is unattainable by full precision networks. Ternary and binary weighted networks offer an efficient method of inference for 2-bit and 1-bit data respectively. Most hardware architectures can take advantage of the memory storage and bandwidth savings that come along with smaller datapaths, but very few architectures can take advantage of limited numeric precision at the computation level. In this paper, we present a hardware design for FPGAs that takes advantage of bandwidth, memory, power, and computation savings of limited numerical precision data. We provide insights into the trade-offs between throughput and accuracy for various networks and how they map to our framework. Further, we show how limited numeric precision computation can be efficiently mapped onto FPGAs for both ternary and binary cases. Starting with Arria 10, we show a 2-bit activation and ternary weighted AlexNet running in hardware that achieves 3,700 images per second on the ImageNet dataset with a top-1 accuracy of 0.49. Using a hardware modeler designed for our low numeric precision framework we project performance most notably for a 55.5 TOPS Stratix 10 device running a modified ResNet-34 with only 3.7% accuracy degradation compared with single precision.

연구 동기 및 목표

• FPGA를 활용한 딥 뉴럴 네트워크에서 저수치 정밀도 추론(1-2비트)의 실현 가능성과 성능 트레이드오���을 탐색한다.
• 8비트 이하 정밀도에서 효율적인 계산을 위해 FPGA의 재구성 가능성을 활용한 하드웨어 최적화 프레임워크를 설계한다.
• 삼항 및 이진 가중치 및 활성화의 맞춤형 하드웨어 매핑을 통해 양자화된 네트워크의 정확도 저하를 최소화한다.
• 다양한 네트워크 아키텍처(예: AlexNet, ResNet-34)에서 처리량, 전력 효율성, 정확도 간의 트레이드오프를 평가한다.
• 고성능 FPGA(예: Stratix 10)를 활용해 8비트 이하 정밀도에서 단일 정밀도에 근접한 성능을 달성할 수 있는지를 예측한다.

제안 방법

• Intel Arria 10 및 Stratix 10 FPGA를 사용해 1비트 및 2비트 데이터 폭에 특화된 재구성 가능한 FPGA 아키텍처를 설계한다.
• 삼항(±1) 및 이진(±1) 가중치와 2비트 활성화를 위한 저정밀도 승법-누적 연산을 수행하는 전용 논리 유닛을 적용한다.
• FPGA가 각 연산에 대해 데이터 폭을 맞춤형으로 설정할 수 있는 능력을 활용해 데이터 경로 폭을 줄여 메모리 대역폭과 저장 공간을 최적화한다.
• 다양한 네트워크 구성과 FPGA 장치에서의 성능을 시뮬레이션하고 예측하기 위해 하드웨어 모델링 프레임워크를 사용한다.
• 특히 ResNet-34에 대해 정밀도 감소 모델의 정확도를 유지하기 위해 양자화 인식 훈련 원리를 적용한다.
• 처리량을 극대화하기 위해 네트워크 레이어를 FPGA 자원에 맞게 맞춤형 파ipel라인화 및 병렬화한다.

실험 결과

연구 질문

• RQ1 어떻게 FPGA 기반 하드웨어를 최적화해 1비트 및 2비트 추론 연산을 효율적으로 수행할 수 있는가?
• RQ2 FPGA에서 저정밀도 딥 러닝 추론 시 처리량, 에너지 효율성, 정확도 간의 트레이드오프는 어떠한가?
• RQ3 삼항 및 이진 가중치 네트워크가 FPGA 하드웨어에 매핑되었을 때 정확도를 얼마나 잘 유지할 수 있는가?
• RQ4 다양한 FPGA 장치와 네트워크 아키텍처 간에 저정밀도 추론 성능은 어떻게 스케일링되는가?
• RQ5 FPGA 최적화 하드웨어를 사용해 8비트 이하 정밀도에서도 단일 정밀도에 근접한 정확도를 달성할 수 있는가?

주요 결과

• 2비트 활성화와 삼항 가중치를 가진 AlexNet은 ImageNet에서 초당 3,700장의 이미지를 처리했으며, top-1 정확도는 49%였다.
• 데이터 경로 폭을 줄여 메모리 및 대역폭 절약을 달성해 처리량을 높이는 데 기여했다.
• Stratix 10 FPGA에 적용된 수정된 ResNet-34 모델은 단일 정밀도 추론 대비 정확도 저하가 단 3.7%에 그쳤다.
• 하드웨어 모델러는 Stratix 10 장치가 저정밀도 추론에 대해 최대 55.5 TOPS의 성능을 제공할 수 있을 것으로 예측했다.
• 이 프레임워크는 대부분의 일반 목적 하드웨어가 구현할 수 없는 8비트 이하 정밀도에서 계산 수준 최적화를 효율적으로 활용할 수 있음을 입증했다.
• 결과적으로, 맞춤형 하드웨어 매핑과 양자화 기법을 결합하면 FPGA에서 저정밀도 추론이 최소한의 정확도 손실로 실현 가능하다는 것이 확인되었다.