[논문 리뷰] Toolflows for Mapping Convolutional Neural Networks on FPGAs: A Survey and Future Directions

Stylianos I. Venieris, Alexandros Kouris외 1명|arXiv (Cornell University)|2018. 03. 15.

CCD and CMOS Imaging Sensors참고 문헌 90인용 수 12

한 줄 요약

이 논문은 CNN-to-FPGA 툴플로우를 종합적으로 조사하며, 아키텍처적 선택, 설계 공간 탐색, 프레임워크 간 성능를 분석한다. 공정한 비교를 가능하게 하기 위해 표준화된 평가 방법론을 제안하고, FPGA 기반 딥러닝 파ip라인 통합을 향상시키기 위한 향후 연구 방향으로 종단간 하드웨어-네트워크 공동 설계 및 FPGA 기반 학습을 규명한다.

ABSTRACT

In the past decade, Convolutional Neural Networks (CNNs) have demonstrated state-of-the-art performance in various Artificial Intelligence tasks. To accelerate the experimentation and development of CNNs, several software frameworks have been released, primarily targeting power-hungry CPUs and GPUs. In this context, reconfigurable hardware in the form of FPGAs constitutes a potential alternative platform that can be integrated in the existing deep learning ecosystem to provide a tunable balance between performance, power consumption and programmability. In this paper, a survey of the existing CNN-to-FPGA toolflows is presented, comprising a comparative study of their key characteristics which include the supported applications, architectural choices, design space exploration methods and achieved performance. Moreover, major challenges and objectives introduced by the latest trends in CNN algorithmic research are identified and presented. Finally, a uniform evaluation methodology is proposed, aiming at the comprehensive, complete and in-depth evaluation of CNN-to-FPGA toolflows.

연구 동기 및 목표

• CNN-to-FPGA 툴플로우에 대한 표준화된 평가 부족 문제를 해결하여 공정한 성능 비교를 가능하게 한다.
• 최신 CNN 아키텍처가 FPGA 매핑에 미치는 영향을 분석하고, 증가한 깊이와 복잡성으로 인해 발생하는 주요 과제를 규명한다.
• 심층적이고 재현 가능한 도구 흐름 성능 평가를 가능하게 하기 위해 포괄적인 벤치마크 세트와 평가 지표를 제안한다.
• 딥러닝 생태계에 대한 FPGA 통합을 향상시키기 위해 종단간 하드웨어-네트워크 공동 설계 및 FPGA 기반 CNN 학습과 같은 향후 연구 방향을 탐색한다.
• Caffe, PyTorch, TensorFlow와 같은 주요 프레임워크로부터 자동화된 고수준 매핑을 가능하게 하여 딥러닝 실무자들이 FPGA를 보다 쉽게 활용할 수 있도록 한다.

제안 방법

• 15개 이상의 공개된 CNN-to-FPGA 툴플로우를 비교 분석하여, 지원하는 프레임워크, 지원하는 네트워크, 매핑 기법을 평가한다.
• 인터페이스(예: Caffe, Torch, PyTorch), 추상화 수준(HLS 대 고수준 생성기), 설계 공간 탐색 전략 기반으로 툴플로우를 분류한다.
• 다양한 CNN 모델과 FPGA 플랫폼을 포함한 벤치마크 세트를 기반으로 통일된 평가 방법론을 제안하며, 처리량, 지연, 전력 소비, 자원 활용도를 측정한다.
• 다양한 딥러닝 프레임워크(예: TensorFlow, MXNet, CoreML)에서 생성된 중간 표현(IR)을 처리할 수 있는 프레임워크 독립 평가 파이프라인을 도입하여 일관된 FPGA 매핑을 보장한다.
• MAC 연산 수/초, 에너지 효율성, 자원 활용도 비율과 같은 성능 지표를 정의하여 도구 흐름 간 비교를 가능하게 한다.
• 하드웨어 인지 최적화를 학습 루프에 통합하여 네트워크 아키텍처, 정밀도, FPGA 자원 할당을 공동 최적화할 수 있도록 권장한다.

실험 결과

연구 질문

• RQ1 지원하는 프레임워크, 매핑 기법, 성능 특성 측면에서 기존 CNN-to-FPGA 툴플로우 간의 주요 차이점과 상호 보완적 특성은 무엇인가?
• RQ2 기존 CNN-to-FPGA 툴플로우 평가 방법론이 플랫폼 간 공정하고 종합적인 비교를 실패하는 이유는 무엇인가?
• RQ3 재현 가능하고 종합적인 FPGA 기반 CNN 가속기 평가를 가능하게 하기 위해 표준화된 벤치마크 세트와 평가 프레임워크를 어떻게 설계할 수 있는가?
• RQ4 현대적이고 복잡한 CNN(예: ResNet, DenseNet)을 FPGA에 매핑할 때 발생하는 주요 과제는 무엇이며, 툴플로우는 이를 어떻게 해결할 수 있는가?
• RQ5 종단간 공동 설계나 FPGA 기반 학습과 같은 향후 연구 방향은 딥러닝 워크플로우에 대한 FPGA 통합을 어떻게 크게 향상시킬 수 있는가?

주요 결과

• 설문 조사에서 15개 이상의 CNN-to-FPGA 툴플로우를 식별하였으며, 대부분 Caffe나 Torch를 대상으로 하며, 지원하는 네트워크 유형과 최적화 전략에서 괴리가 크다.
• 기존 평가 방법론은 일관성 없고 불완전하여 메모리 대역폭과 자원 활용도를 무시하는 경우가 많아 신뢰할 수 있는 성능 비교를 제한한다.
• Vivado HLS 및 OpenCL 기반 흐름과 같은 고수준 합성(HLS) 도구는 널리 사용되지만, CNN 전용 데이터플로우 패턴에 특화된 응용 프로그램 인지 최적화가 부족하다.
• fpgaConvNet, DnnWeaver, Caffeine 등의 툴플로우는 CPU 기준 대비 처리량을 최대 10배 향상시키며, GPU 대비 에너지 효율성도 2~5배 향상시킨다.
• 제안된 벤치마크 세트를 통해 다양한 CNN(예: AlexNet, VGG, ResNet)과 FPGA 플랫폼(예: Xilinx Zynq, Intel Arria) 간 표준화된 평가가 가능해졌으며, 성능 변동성이 뚜렷하게 드러났다.
• 향후 연구 방향으로 하드웨어-네트워크 공동 설계 및 FPGA 기반 학습은 아직 탐색이 부족하며, 현재는 초보적 수준의 연구만 보고되어 있어 주요 연구 격차가 있음.