[논문 리뷰] Accelerating CNN inference on FPGAs: A Survey

Kamel Abdelouahab, Maxime Pelcat외 2명|arXiv (Cornell University)|2018. 05. 26.

Advanced Neural Network Applications참고 문헌 47인용 수 102

한 줄 요약

FPGA 기반 CNN 추론 가속기에 대한 포괄적 조사로, 알고리즘적 변환(GEMM, Winograd, FFT), 데이터 경로 최적화, 근사 컴퓨팅, 그리고 설계 공간 탐색 전략을 통해 CNN을 FPGA 하드웨어에 효율적으로 매핑하는 방법을 상세히 다룬다.

ABSTRACT

Convolutional Neural Networks (CNNs) are currently adopted to solve an ever greater number of problems, ranging from speech recognition to image classification and segmentation. The large amount of processing required by CNNs calls for dedicated and tailored hardware support methods. Moreover, CNN workloads have a streaming nature, well suited to reconfigurable hardware architectures such as FPGAs. The amount and diversity of research on the subject of CNN FPGA acceleration within the last 3 years demonstrates the tremendous industrial and academic interest. This paper presents a state-of-the-art of CNN inference accelerators over FPGAs. The computational workloads, their parallelism and the involved memory accesses are analyzed. At the level of neurons, optimizations of the convolutional and fully connected layers are explained and the performances of the different methods compared. At the network level, approximate computing and datapath optimization methods are covered and state-of-the-art approaches compared. The methods and tools investigated in this survey represent the recent trends in FPGA CNN inference accelerators and will fuel the future advances on efficient hardware deep learning.

연구 동기 및 목표

• FPGA 기반 CNN 추론 가속기의 최첨단 현황을 요약하고 일반적인 최적화 전략을 식별한다.
• 합성곱층과 완전연결층이 알고리즘적 변환 및 데이터 경로 설계를 통해 FPGA에서 어떻게 가속되는지 분석한다.
• 성능과 에너지 효율성에 영향을 주는 메모리 접근 패턴 및 캐시 전략을 논의한다.
• FPGA 맥락에서의 근사 컴퓨팅 및 모델/데이터 최적화 방식 비교한다.
• FPGA CNN 구현을 위한 설계 공간 트레이드오프(언롤링, 타일링, 하드웨어 생성)에 대한 지침을 제공한다.

제안 방법

• CNN 추론 워크로드와 병렬성 패턴을 검토하여 하드웨어 매핑의 도전 과제를 이해한다.
• 합성곱(Conv) 및 FC 계층을 FPGA에서 가속하기 위해 사용되는 알고리즘 최적화(GEMM, Winograd, FFT)를 분류하고 설명한다.
• 데이터 경로 최적화 기법(시스톨릭 어레이, SIMD 가속기, 루프 언롤링/타일링, 캐싱)을 설명한다.
• FPGA 가속기를 구성하기 위한 설계 공간 탐색 방법(Roofline- guided brute force 및 휴리스틱)을 논의한다.
• FPGA CNN 가속기를 구현하는 데 사용되는 데이터 경로 및 하드웨어 생성 방법(HLS/OpenCL, RTL, DSL)을 조사한다.

실험 결과

연구 질문

• RQ1 CNN 층을 FPGA에 매핑하는 데 사용되는 지배적인 알고리즘적 변환은 무엇이며, 그것들이 성능과 메모리 사용에 어떤 영향을 미치는가?
• RQ2 데이터 경로 최적화와 루프 변환이 자원 제약이 큰 FPGA 장치에서의 효율적 CNN 추론을 어떻게 가능하게 하는가?
• RQ3 메모리 대역폭과 온칩 버퍼가 FPGA CNN 처리량과 에너지 효율성에서 어떤 역할을 하는가?
• RQ4 설계 공간 탐색 방법이 CNN 워크로드용 FPGA 가속기 구성을 어떻게 안내하는가?
• RQ5 하드웨어 생성(HLS/OpenCL/RTL)의 어떤 경향이 확장 가능한 FPGA CNN 구현을 지원하는가?

주요 결과

• GEMM 기반, Winograd, 및 FFT 변환은 FPGA 가속기로 CNN 계층을 매핑하는 중심 기술로, 처리량과 메모리 접근에서 각기 트레이드오프가 있다.
• 루프 언롤링 및 타일링을 포함한 데이터 경로 최적화는 컴퓨트와 메모리의 균형을 맞추고 온칩 버퍼에 적합하게 하려는 데 필수적이다.
• 메모리 대역폭과 캐시 계층 구조는 주요 병목현상이며, 효과적인 온칩 버퍼는 외부 메모리 트래픽과 에너지를 크게 감소시킨다.
• 설계 공간 탐색은 보통 Roofline-guided 방식으로, FPGA 자원 한계 내에서 처리량을 최대화하는 언롤링/타일링 파라미터를 선택하는 데 필수적이다.
• 다양한 FPGA 구현(HLS/OpenCL 및 RTL)은 배치당 필터 재사용 및 계층 융합을 통해 상당한 성능 향상을 보여준다.