[논문 리뷰] CNN2Gate: Toward Designing a General Framework for Implementation of Convolutional Neural Networks on FPGA

Alireza Ghaffari, Yvon Savaria|arXiv (Cornell University)|2020. 04. 06.

Advanced Neural Network Applications참고 문헌 30인용 수 10

한 줄 요약

CNN2Gate는 ONNX 파싱, 고정점 양자화, 강화학습 기반 설계공간 탐색을 통해 FPGA에 대한 CNN 모델의 컴파일 및 최적화를 자동화하는 OpenCL 기반 프레임워크이다. 인텔 아리아 10 FPGA에서 AlexNet에 대해 18ms, VGG-16에 대해 205ms의 추론 지연을 달성하여 전문적인 저수준 설계 지식 없이도 효율적이고 확장 가능하며 하드웨어 인식형 FPGA 매핑을 가능하게 한다.

ABSTRACT

Convolutional Neural Networks (CNNs) have a major impact on our society because of the numerous services they provide. On the other hand, they require considerable computing power. To satisfy these requirements, it is possible to use graphic processing units (GPUs). However, high power consumption and limited external IOs constrain their usability and suitability in industrial and mission-critical scenarios. Recently, the number of researches that utilize FPGAs to implement CNNs are increasing rapidly. This is due to the lower power consumption and easy reconfigurability offered by these platforms. Because of the research efforts put into topics such as architecture, synthesis and optimization, some new challenges are arising to integrate such hardware solutions to high-level machine learning software libraries. This paper introduces an integrated framework (CNN2Gate) that supports compilation of a CNN model for an FPGA target. CNN2Gate exploits the OpenCL synthesis workflow for FPGAs offered by commercial vendors. CNN2Gate is capable of parsing CNN models from several popular high-level machine learning libraries such as Keras, Pytorch, Caffe2 etc. CNN2Gate extracts computation flow of layers, in addition to weights and biases and applies a "given" fixed-point quantization. Furthermore, it writes this information in the proper format for OpenCL synthesis tools that are then used to build and run the project on FPGA. CNN2Gate performs design-space exploration using a reinforcement learning agent and fits the design on different FPGAs with limited logic resources automatically. This paper reports results of automatic synthesis and design-space exploration of AlexNet and VGG-16 on various Intel FPGA platforms. CNN2Gate achieves a latency of 205 ms for VGG-16 and 18 ms for AlexNet on the FPGA.

연구 동기 및 목표

• 고도로 추상화된 CNN 모델을 FPGA에 매핑하기 위한 통합적이고 자동화된 도구의 부족을 해결하기 위해.
• 고정점 양자화와 하드웨어 인식 최적화를 조합하여 자원 제약이 있는 FPGA에서 효율적이고 저지연 추론을 가능하게 하기 위해.
• 자동화된 설계공간 탐색과 자원 적합 기술을 통해 다양한 FPGA 플랫폼 간의 확장 가능한 배포를 지원하기 위해.
• 통합된 OpenCL 기반 합성 파이프라인을 통해 고수준 머신러닝 프레임워크(예: Keras, PyTorch)와 FPGA 하드웨어 사이의 격차를 메우기 위해.

제안 방법

• 주요 프레임워크(Keras, PyTorch, Caffe2)에서 훈련된 CNN 모델을 ONNX 형식으로 파싱하여 계층의 계산 흐름, 가중치, 편향을 추출한다.
• 사전 정의된 고정점 양자화 체계를 적용하여 모델 정밀도를 낮추고 하드웨어 효율을 향상시킨다.
• 상용 벤더 툴플로우(예: 인텔 OpenCL SDK)를 사용하여 FPGA 합성을 위한 OpenCL 호환 코드를 생성한다.
• 강화학습 에이전트를 활용하여 자동 설계공간 탐색을 수행하고 자원 제약 조건에 기반해 다양한 FPGA 타겟에 CNN을 매핑한다.
• 컨volution 및 풀링 계층을 단일 처리 유닛으로 융합하여 파이ipelined 커널 실행을 지원함으로써 처리량을 향상시킨다.
• 하드웨어 구성 파rameter(예: CONV 유닛 수, 버퍼 크기)를 사용하여 다양한 FPGA 자원 환경에서의 합성 및 적합 과정을 안내한다.

실험 결과

연구 질문

• RQ1 자동화된 프레임워크는 최소한의 수동 간섭으로 다양한 CNN 아키텍처를 FPGA에 매핑할 수 있는가?
• RQ2 강화학습은 CNN의 FPGA 자원 활용도와 추론 지연 최적화에 얼마나 효과적인가?
• RQ3 고정점 양자화는 하드웨어 포트폴리오와 전력 소비를 줄이면서도 모델 정확도를 어느 정도 유지할 수 있는가?
• RQ4 수동 최적화된 RTL 설계에 비해 자동 고수준 합성 파이프라인의 성능은 지연과 자원 효율성 측면에서 어떻게 비교되는가?

주요 결과

• CNN2Gate는 인텔 아리아 10 FPGA에서 AlexNet에 대해 18ms, VGG-16에 대해 205ms의 추론 지연을 달성하여 자동화된 방식으로 저지연 배포가 가능함을 입증했다.
• 프레임워크는 아리아 10와 같은 더 큰 FPGA에서 AlexNet과 VGG-16을 성공적으로 합성했지만, 제어 논리 오버헤드로 인해 작은 사이클론 V FPGA에는 맞추지 못했다.
• 동일한 FPGA에서 VGG-16은 AlexNet보다 8% 더 많은 블록 램을 사용했으며, 이는 더 깊은 네트워크 아키텍처가 메모리 사용에 미치는 영향을 반영한다.
• CNN2Gate는 더 많은 FPGA 자원을 사용했음에도 불구하고, [20]과 유사한 설계보다 높은 성능 밀도(0.266 GOP/s/DSP)를 달성하여 DSP 당 더 높은 효율성을 보였다.
• VGG-16에 대해 CNN2Gate는 [8]보다 18% 더 낮은 지연을 기록했고, 더 적은 DSP를 사용하여 더 큰 네트워크에 대해 뛰어난 최적화 효율성을 입증했다.
• 수동 최적화된 RTL 설계(예: [10])에 비해 브로드캐스트 성능은 열등하지만, CNN2Gate는 훨씬 뛰어난 확장성과 자동화 수준을 제공하여 전문가 수준의 하드웨어 튜닝이 크게 감소함을 보였다.