[논문 리뷰] Deep Learning on FPGAs: Past, Present, and Future

Griffin Lacey, Graham W. Taylor외 1명|arXiv (Cornell University)|2016. 02. 13.

CCD and CMOS Imaging Sensors참고 문헌 29인용 수 154

한 줄 요약

본 논문은 FPGA에서의 딥러닝을 조사하고, 고수준 OpenCL 도구 체계를 다루며, CNN/MLP 구현 및 설계 흐름을 평가하고, 향후 방향과 전력 효율적인 가속 가능성을 강조한다.

ABSTRACT

The rapid growth of data size and accessibility in recent years has instigated a shift of philosophy in algorithm design for artificial intelligence. Instead of engineering algorithms by hand, the ability to learn composable systems automatically from massive amounts of data has led to ground-breaking performance in important domains such as computer vision, speech recognition, and natural language processing. The most popular class of techniques used in these domains is called deep learning, and is seeing significant attention from industry. However, these models require incredible amounts of data and compute power to train, and are limited by the need for better hardware acceleration to accommodate scaling beyond current data and model sizes. While the current solution has been to use clusters of graphics processing units (GPU) as general purpose processors (GPGPU), the use of field programmable gate arrays (FPGA) provide an interesting alternative. Current trends in design tools for FPGAs have made them more compatible with the high-level software practices typically practiced in the deep learning community, making FPGAs more accessible to those who build and deploy models. Since FPGA architectures are flexible, this could also allow researchers the ability to explore model-level optimizations beyond what is possible on fixed architectures such as GPUs. As well, FPGAs tend to provide high performance per watt of power consumption, which is of particular importance for application scientists interested in large scale server-based deployment or resource-limited embedded applications. This review takes a look at deep learning and FPGAs from a hardware acceleration perspective, identifying trends and innovations that make these technologies a natural fit, and motivates a discussion on how FPGAs may best serve the needs of the deep learning community moving forward.

연구 동기 및 목표

• 하드웨어 가속이 GPU를 넘어선 필요성에 대한 동기를 제공한다.
• DL 워크로드를 위한 유연하고 전력 효율적인 가속기로서의 FPGA의 역할을 규명한다.
• 현재 FPGA 기반 CNN/MLP 구현 및 설계 타협을 평가한다.
• DL 커뮤니티와 FPGA 간의 다리 역할을 하는 고수준 추상화 도구와 OpenCL 채택에 대해 논의한다.
• FPGA에서 DL을 확장하고 도구 및 워크플로를 개선하기 위한 향후 방향을 제시한다.

제안 방법

• CNN 및 MLP 아키텍처와 FPGA 가속에의 적합성에 대한 검토.
• 재구성 가능성, 메모리 계층, 파이프라인 병렬성 등 FPGA 특성에 대한 논의.
• DL 연구자들이 FPGA에 접근할 수 있도록 하는 고수준 합성(HLS) 및 OpenCL의 경로에 대한 분석.
• OpenCL 기반 워크플로우와 함께 DL 모델을 통합하기 위한 FPGA 중심 설계 흐름의 설명.
• FPGA 하드웨어에서의 학습과 추론의 차이 및 관련 성능 함의에 대한 고려.

실험 결과

연구 질문

• RQ1 GPPs 및 GPUs와 비교했을 때 FPGA가 DL 가속을 위한 매력적인 플랫폼인 이유는 무엇인가?
• RQ2 DL 모델(특히 CNN 및 MLP)이 FPGA 아키텍처에 어떻게 매핑되었으며, 이에 따른 성능/전력 트레이드오프는 무엇인가?
• RQ3 DL 커뮤니티에서 FPGA 채용을 넓히기 위해 필요한 도구 및 설계 흐름 개발은 무엇인가?
• RQ4 다중 FPGA 또는 전력 제약 환경에서 DL을 확장하기 위한 단기적 및 장기적 방향은 무엇인가?

주요 결과

• 최신 FPGA 기반 CNN 구현은 수십에서 수백 이미지/초의 처리 속도와 약 수십 와트의 전력 예산(예: Stratix V 플랫폼에서 ImageNet 1K에서 25 W로 134 이미지/초)을 달성한다.
• OpenCL은 FPGA, GPU 및 CPU 간의 교차 하드웨어 프로그래밍을 가능하게 하여 플랫폼별 한계에도 불구하고 FPGA에서 DL 워크플로우 채택을 촉진한다.
• 고수준 설계 도구와 OpenCL 지원은 연구자와 DL 실무자들이 재구성 가능한 하드웨어와 소프트웨어와 같은 DL 워크플로를 연결하는 데 도움이 되어 FPGA 접근성을 확대한다.
• FPGA는 파이프라인 병렬성과 맞춤형 아키텍처를 제공하여 특정 DL 연산 및 스트리밍 워크로드에서 성능대비 전력(성능-전력비) 측면에서 고정된 GPU를 능가할 수 있다.
• 향후 방향으로는 더 큰 메모리, 다중 FPGA 구성, 컴파일 병목을 줄이고 반복 속도를 높이는 더 추상화된 설계 도구가 포함된다.