[논문 리뷰] Field-Programmable Gate Array Architecture for Deep Learning: Survey & Future Directions

Andrew Boutros, Aman Arora외 1명|arXiv (Cornell University)|2024. 04. 15.

Embedded Systems Design Techniques인용 수 4

한 줄 요약

이 논문은 딥러닝 추론을 위한 최적화된 FPGA 아키텍처를 조사하며, 향상된 패브릭 블록, 텐서 전용 가속기, 하이브리드 칩렛 통합을 제안하여 높은 성능과 에너지 효율성을 달성한다. 실험을 통해 FPGA 기반 가속기가 동일 세대의 NVIDIA GPU에 비해 지연 시간과 에너지 효율성에서 슈퍼어리어를 기록함을 입증하며, 변화하는 딥러닝 워크로드에 대응하기 위해 재구성 가능한 성능을 유지한다.

ABSTRACT

Deep learning (DL) is becoming the cornerstone of numerous applications both in datacenters and at the edge. Specialized hardware is often necessary to meet the performance requirements of state-of-the-art DL models, but the rapid pace of change in DL models and the wide variety of systems integrating DL make it impossible to create custom computer chips for all but the largest markets. Field-programmable gate arrays (FPGAs) present a unique blend of reprogrammability and direct hardware execution that make them suitable for accelerating DL inference. They offer the ability to customize processing pipelines and memory hierarchies to achieve lower latency and higher energy efficiency compared to general-purpose CPUs and GPUs, at a fraction of the development time and cost of custom chips. Their diverse high-speed IOs also enable directly interfacing the FPGA to the network and/or a variety of external sensors, making them suitable for both datacenter and edge use cases. As DL has become an ever more important workload, FPGA architectures are evolving to enable higher DL performance. In this article, we survey both academic and industrial FPGA architecture enhancements for DL. First, we give a brief introduction on the basics of FPGA architecture and how its components lead to strengths and weaknesses for DL applications. Next, we discuss different styles of DL inference accelerators on FPGA, ranging from model-specific dataflow styles to software-programmable overlay styles. We survey DL-specific enhancements to traditional FPGA building blocks such as logic blocks, arithmetic circuitry, and on-chip memories, as well as new in-fabric DL-specialized blocks for accelerating tensor computations. Finally, we discuss hybrid devices that combine processors and coarse-grained accelerator blocks with FPGA-like interconnect and networks-on-chip, and highlight promising future research directions.

연구 동기 및 목표

• 데이터센터와 엣지 장치에서 증가하는 딥러닝 모델의 계산 요구사항을 해결한다.
• 일반 목적의 CPU와 GPU가 딥러닝 추론에서 에너지 효율성과 지연 시간 측면에서 겪는 한계를 극복한다.
• FPGA를 활용해 다양한 변화하는 딥러닝 워크로드에 대응하는 맞춤형 재구성 가능한 하드웨어 가속을 가능하게 한다.
• 소프트웨어 프로그래머블 오버레이와 하드웨어-소프트웨어 공동 설계를 통해 개발자 생산성과 성능을 향상시킨다.
• 향후 ASIC 칩렛과 3D 스타킹을 통합한 FPGA 기반 가속기 설계를 탐색한다. 성능 향상과 확장성 향상을 목표로 한다.

제안 방법

• 딥러닝을 위한 학술 및 산업계 FPGA 아키텍처 개선 사례를 조사하며, 논리 블록, DSP, 블록 RAM, 새로운 텐서 전용 하드웨어 블록에 중점을 둔다.
• 다양한 딥러닝 추론 가속기 스타일을 분석한다: 성능과 생산성을 고려한 모델 전용 데이터플로우 및 소프트웨어 프로그래머블 오버레이.
• 면적, 성능, 전력 소모 간의 아키텍처 탐색 트레이드오프를 자동 평가하기 위해 RAD-Sim 및 RAD-Gen 도구를 도입한다.
• 인터포저 또는 3D 스타킹을 통한 거시적 가속기 블록과 칩렛을 통합한 하이브리드 FPGA 아키텍처를 검토한다.
• 메모리 대역폭 향상과 애플리케이션 특화 가속을 위해 ASIC 기반 다이 위에 FPGA 패브릭을 배치한 3D 스택형 RAD를 제안한다.
• 네트워크온칩(NoC)과 프로그래머블 인터커넥트를 활용한 시스템 수준 통합을 평가하여 확장성 있고 고대역폭 통신을 가능하게 한다.

실험 결과

연구 질문

• RQ1 현대 딥러닝 모델의 계산 및 메모리 요구사항을 더 잘 충족하기 위해 FPGA 아키텍처는 어떻게 향상시킬 수 있는가?
• RQ2 성능, 에너지 효율성, 개발자 생산성 측면에서 FPGA 기반 딥러닝 가속기의 가장 효과적인 설계 스타일은 무엇인가?
• RQ3 특수 논리 블록, DSP, 온칩 메모리와 같은 FPGA 전용 아키텍처 개선 사항이 딥러닝 추론 성능에 미치는 영향은 무엇인가?
• RQ4 통합된 칩렛과 3D 스타킹을 포함한 하이브리드 아키텍처는 FPGA 기반 딥러닝 가속화에 어떻게 기여하는가?
• RQ5 진행 중인 딥러닝 워크로드에 대응하는 재구성 가능한 가속기 설계의 주요 과제와 기회는 무엇인가?

주요 결과

• 메모리 집약적인 딥러닝 모델에 대해 FPGA 기반 가속기는 동일 세대의 최대 크기 NVIDIA GPU에 비해 지연 시간이 16배 낮고 에너지 효율성이 34배 높았다.
• Stratix 10 FPGA에 TensorRAM 칩렛을 통합함으로써 전용 온칩 메모리와 계산 기능을 활용해 지연 시간을 감소시키고 에너지 효율성을 향상시켰다.
• 인터포저 또는 3D 스타킹을 활용한 하이브리드 FPGA-칩렛 아키텍처는 확장성 있고 고대역폭 시스템을 가능하게 하며, FPGA의 유연성과 ASIC의 성능을 결합한다.
• RAD-Sim과 RAD-Gen은 FPGA 아키텍처 트레이드오프 탐색을 자동화하여 맞춤형 가속기 변종 설계에 소요되는 시간을 크게 단축시킨다.
• 향후 FPGA 기반 가속기는 미세한 재구성 가능성과 거시적 가속기 블록, 고도로 발전한 패ckaging를 결합해 최적의 성능을 달성할 것이다.
• 재구성 가능한 가속기(RADs)의 설계 공간은 매우 광범위하며, 패브릭 최적화, 새로운 가속기 블록, NoC 및 2D/3D 통합과 같은 고급 인터커넥트를 포함한다.