[논문 리뷰] A Survey of FPGA Based Deep Learning Accelerators: Challenges and Opportunities

Teng Wang, Chao Wang외 2명|arXiv (Cornell University)|2018. 12. 25.

Advanced Neural Network Applications참고 문헌 24인용 수 39

한 줄 요약

이 논문은 특정 신경망 유형, 알고리즘 및 아키텍처를 위한 FPGA 기반 딥러닝 가속기의 설계를 분석하며, 이를 CPU 및 GPU 구현과 비교하여 성능, 효율성 및 재구성 가능성의 장점을 강조한다. 同시에 딥러닝 워크로드를 위한 하드웨어-소프트웨어 공동 설계 분야의 주요 과제와 향후 연구 기회를 규명한다.

ABSTRACT

With the rapid development of in-depth learning, neural network and deep learning algorithms have been widely used in various fields, e.g., image, video and voice processing. However, the neural network model is getting larger and larger, which is expressed in the calculation of model parameters. Although a wealth of existing efforts on GPU platforms currently used by researchers for improving computing performance, dedicated hardware solutions are essential and emerging to provide advantages over pure software solutions. In this paper, we systematically investigate the neural network accelerator based on FPGA. Specifically, we respectively review the accelerators designed for specific problems, specific algorithms, algorithm features, and general templates. We also compared the design and implementation of the accelerator based on FPGA under different devices and network models and compared it with the versions of CPU and GPU. Finally, we present to discuss the advantages and disadvantages of accelerators on FPGA platforms and to further explore the opportunities for future research.

연구 동기 및 목표

• 특정 신경망 문제와 알고리즘에 최적화된 FPGA 기반 가속기들을 체계적으로 검토하기.
• 다양한 네트워크 모델과 장치에서 FPGA 가속기와 CPU 및 GPU 구현 간의 비교 분석하기.
• FPGA 가속기의 성능, 에너지 효율성 및 재구성 가능성 간의 상호 상충 관계 분석하기.
• FPGA 기반 맞춤형 딥러닝 가속기 설계에서의 주요 과제와 새로운 기회 규명하기.

제안 방법

• 이미지, 영상 및 음성 처리와 같은 대상 애플리케이션 기반으로 FPGA 가속기 분류하기.
• 레이어 유형, 정밀도, 희소성과 같은 알고리즘 특화 기능에 중점을 둔 가속기 설계 분석하기.
• 지연, 처리량 및 에너지 효율성 측면에서 FPGA 기반 가속기와 CPU 및 GPU 대안 간 비교하기.
• 다양한 FPGA 장치와 네트워크 아키텍처(CNNs, RNNs 등) 간 설계의 상호 상충 관계 평가하기.
• 일반 목적의 FPGA 가속기 프레임워크를 위한 설계 패턴 및 템플릿 통합하기.

실험 결과

연구 질문

• RQ1 딥러닝 추론 워크로드에서 FPGA 기반 가속기는 성능 및 에너지 효율성 측면에서 CPU 및 GPU에 비해 어떻게 비교되는가?
• RQ2 다양한 신경망 모델을 위한 FPGA 가속기 설계에서의 주요 아키텍처 및 구현 과제는 무엇인가?
• RQ3 활성화 함수, 희소성 등 알고리즘 특화 기능이 FPGA 가속기 설계에 어떤 영향을 미치는가?
• RQ4 FPGA를 활용한 재구성 가능한 딥러닝 하드웨어 분야에서 향후 연구의 기회는 무엇인가?

주요 결과

• 특정 워크로드, 특히 추론 시나리오에서 FPGA 기반 가속기는 CPU 및 GPU보다 더 높은 에너지 효율성과 낮은 지연을 달성한다.
• 데이터 수준 및 모델 수준의 병렬성 활용을 통해 FPGA 상의 맞춤형 가속기가 일반 목적 플랫폼을 능가한다.
• FPGA의 재구성 가능성 덕분에 다양한 변화하는 딥러닝 모델에 효율적으로 대응할 수 있다.
• 설계 복잡성과 도구 체인 제약이 FPGA 가속기 개발에서 여전히 주요 과제로 남아 있다.
• 향후 연구는 자동화된 설계 플로우 및 공동 설계 방법론에 초점을 맞춰 생산성과 성능 향상을 도모해야 한다.