[논문 리뷰] Design Flow of Accelerating Hybrid Extremely Low Bit-width Neural Network in Embedded FPGA

Junsong Wang, Qiuwen Lou외 4명|arXiv (Cornell University)|2018. 07. 31.

Advanced Neural Network Applications참고 문헌 21인용 수 5

한 줄 요약

이 논문은 임베디드 FPGA에서 하이브리드 극저비트폭 신경망(ELB-NNs)을 가속화하기 위한 설계 플로우를 제안한다. 이는 가중치와 활성화에 대해 유연하고 계층별로 특화된 정밀도 양자화를 포함한다. 종단 간 자동화 도구 AccELB는 RTL 코딩 없이 최적화된 FPGA 구현을 생성하며, 임베디드 FPGA에서 최대 10.3 TOPS 및 1초당 325.3장의 이미지/와트의 에너지 효율을 달성하여 GPU 및 이전의 FPGA 솔루션을 뛰어넘는다.

ABSTRACT

Neural network accelerators with low latency and low energy consumption are desirable for edge computing. To create such accelerators, we propose a design flow for accelerating the extremely low bit-width neural network (ELB-NN) in embedded FPGAs with hybrid quantization schemes. This flow covers both network training and FPGA-based network deployment, which facilitates the design space exploration and simplifies the tradeoff between network accuracy and computation efficiency. Using this flow helps hardware designers to deliver a network accelerator in edge devices under strict resource and power constraints. We present the proposed flow by supporting hybrid ELB settings within a neural network. Results show that our design can deliver very high performance peaking at 10.3 TOPS and classify up to 325.3 image/s/watt while running large-scale neural networks for less than 5W using embedded FPGA. To the best of our knowledge, it is the most energy efficient solution in comparison to GPU or other FPGA implementations reported so far in the literature.

연구 동기 및 목표

• 엄격한 전력 및 면적 예산을 가진 엣지 디바이스에 대규모 에너지 제약이 있는 DNN를 구현하는 데 도전하는 문제를 해결한다.
• 정확도, 지연 시간 및 에너지 효율성의 균형을 맞추기 위해 가중치와 활성화에 대해 계층 간에 다양하게 설정된 비트폭 최적화를 가능하게 한다.
• 수동적인 RTL 프로그래밍을 제거하고 하이브리드 ELB-NN의 FPGA 배포를 간소화하기 위해 종단 간 자동화 파이프라인을 개발한다.
• 저정밀도 추론을 위한 GPU 및 이전의 FPGA 기반 DNN 가속기보다 뛰어난 에너지 효율성을 달성한다.

제안 방법

• 다양한 비트폭(예: 2비트, 4비트, 8비트)을 계층 간 및 계층 내에서 다르게 설정할 수 있는 하이브리드 양자화 기법을 제안한다.
• 하이브리드 ELB-NN의 이질적인 정밀도 요구사항에 맞게 최적화된 파이프라인화된 고스루풋 추론 아키텍처를 설계한다.
• 혼합 정밀도 설정을 지원하는 Caffe 기반 훈련 프레임워크를 구현하여 정확도가 높고 저정밀도 모델 훈련을 가능하게 한다.
• Caffe prototxt를 최적화된 고성능 FPGA RTL로 매핑하는 엔드 투 엔드 자동화 도구인 AccELB를 개발한다. 이는 사전 최적화된 라이브러리를 사용한다.
• 대규모 모델(예: VGG16)의 경우 외부 메모리 액세스를 관리하기 위해 메모리 계층을 통합한다.
• 평가를 위해 Xilinx ZC706 FPGA 보드를 사용하며, 정확한 에너지 효율 보고를 위해 디지털 전력 미터를 통해 전력 측정을 수행한다.

실험 결과

연구 질문

• RQ1 계층 간 및 계층 내에서 다양한 비트폭을 가진 하이브리드 양자화 기법은 FPGA에서 ELB-NN의 정확도와 효율성 간의 트레이드오프를 어떻게 향상시킬 수 있는가?
• RQ2 임베디드 FPGA 가속기에서 에너지 효율성을 극대화하기 위해 혼합 정밀도 가중치와 활성화의 최적 설정은 무엇인가?
• RQ3 자동화된 툴체인은 저수준의 RTL 프로그래밍이 필요 없이도 고성능 및 높은 에너지 효율성을 달성할 수 있는가?
• RQ4 제안된 FPGA 기반 ELB-NN 가속기는 DNN 추론을 위한 최신 GPU 및 FPGA 솔루션과 비교해 에너지 효율성이 어떻게 뛰어나게 되는가?
• RQ5 자원 제약이 있는 임베디드 FPGA에 배포되었을 때, 대규모 ELB-NN(예: VGG16)의 성능 및 전력 특성은 어떠한가?

주요 결과

• 제안된 설계는 임베디드 FPGA에서 최대 10.3 TOPS의 성능을 달성하여 대규모 ELB-NN에 대한 높은 계산 처리 능력을 입증한다.
• 4-8218 하이브리드 양자화 설정 하에서 AlexNet의 에너지 효율은 1초당 325.3장의 이미지/와트에 달하며, 이는 엣지(TX2) 및 데이터센터(P4) GPU를 최대 3.9배 뛰어넘는다.
• AccELB 자동화 도구는 RTL 코딩 없이도 FPGA 배포를 가능하게 하여 설계 시간과 복잡도를 크게 감소시킨다.
• 유사한 고성능 FPGA 솔루션 대비 LUT 효율성(킬로 LUT당 GOPs)을 2배 향상시키며, 이는 이전의 가장 효율적인 연구 대비 13% 높은 성능을 기록한다.
• 정확도가 略적으로 낮은 경우(54.6% 대비 49.3% for INT8 GPU), 제안된 솔루션은 특히 낮은 배치 크기에서 뛰어난 에너지 효율성을 유지한다.
• 바이너리화된 가중치가 적용된 경우에도, 메모리 계층을 통합함으로써 VGG16과 같은 대규모 모델을 지원하여 현행 메모리 제약을 극복한다.