[论文解读] Field-Programmable Gate Array Architecture for Deep Learning: Survey & Future Directions

Andrew Boutros, Aman Arora+1 more|arXiv (Cornell University)|Apr 15, 2024

Embedded Systems Design Techniques被引用 4

一句话总结

本文综述了面向深度学习推理的FPGA架构优化，提出增强的结构模块、面向张量的加速器以及混合芯片粒集成，以实现高性能与高能效。结果表明，基于FPGA的加速器在延迟和能效方面可超越GPU，同时保持对不断演化的深度学习工作负载的可重构性。

ABSTRACT

Deep learning (DL) is becoming the cornerstone of numerous applications both in datacenters and at the edge. Specialized hardware is often necessary to meet the performance requirements of state-of-the-art DL models, but the rapid pace of change in DL models and the wide variety of systems integrating DL make it impossible to create custom computer chips for all but the largest markets. Field-programmable gate arrays (FPGAs) present a unique blend of reprogrammability and direct hardware execution that make them suitable for accelerating DL inference. They offer the ability to customize processing pipelines and memory hierarchies to achieve lower latency and higher energy efficiency compared to general-purpose CPUs and GPUs, at a fraction of the development time and cost of custom chips. Their diverse high-speed IOs also enable directly interfacing the FPGA to the network and/or a variety of external sensors, making them suitable for both datacenter and edge use cases. As DL has become an ever more important workload, FPGA architectures are evolving to enable higher DL performance. In this article, we survey both academic and industrial FPGA architecture enhancements for DL. First, we give a brief introduction on the basics of FPGA architecture and how its components lead to strengths and weaknesses for DL applications. Next, we discuss different styles of DL inference accelerators on FPGA, ranging from model-specific dataflow styles to software-programmable overlay styles. We survey DL-specific enhancements to traditional FPGA building blocks such as logic blocks, arithmetic circuitry, and on-chip memories, as well as new in-fabric DL-specialized blocks for accelerating tensor computations. Finally, we discuss hybrid devices that combine processors and coarse-grained accelerator blocks with FPGA-like interconnect and networks-on-chip, and highlight promising future research directions.

研究动机与目标

• 应对数据中心和边缘设备中深度学习模型日益增长的计算需求。
• 克服通用CPU和GPU在深度学习推理中能效与延迟方面的局限性。
• 利用FPGA实现可定制、可重构的硬件加速，以支持多样化且不断演化的深度学习工作负载。
• 通过软件可编程的叠加层与软硬件协同设计，提升开发人员生产力与性能。
• 探索未来集成ASIC芯片粒与3D堆叠技术的FPGA加速器设计，以提升性能与可扩展性。

提出的方法

• 综述学术界与工业界针对深度学习的FPGA架构改进，重点关注逻辑块、DSP、块RAM以及新型面向张量的硬件模块。
• 分析不同类型的深度学习推理加速器设计：面向特定模型的数据流架构与软件可编程叠加层，以兼顾性能与开发效率。
• 引入RAD-Sim与RAD-Gen工具，用于自动化评估架构探索中面积、性能与功耗之间的权衡。
• 研究通过中介层或3D堆叠集成粗粒度加速器模块与芯片粒的混合FPGA架构。
• 提出将FPGA结构置于ASIC基底芯片之上的3D堆叠RAD设计，以提升内存带宽与专用功能加速。
• 通过片上网络（NoCs）与可编程互连结构评估系统级集成，以实现可扩展的高带宽通信。

实验结果

研究问题

• RQ1 如何增强FPGA架构以更好地满足现代深度学习模型在计算与内存方面的需求？
• RQ2 在性能、能效与开发人员生产力方面，哪些FPGA加速器设计风格最为有效？
• RQ3 FPGA特有的架构增强（如定制逻辑块、DSP与片上存储器）如何影响深度学习推理性能？
• RQ4 集成芯片粒与3D堆叠技术的混合架构在推动FPGA加速深度学习方面发挥什么作用？
• RQ5 针对不断演化的深度学习工作负载，设计可重构加速器面临的主要挑战与机遇是什么？

主要发现

• 对于内存受限的深度学习模型，基于FPGA的加速器相比同代最大规模的NVIDIA GPU，实现了16倍的延迟降低与34倍的能效提升。
• 将TensorRAM芯片粒与Stratix 10 FPGA集成，通过利用专用片上内存与计算单元，显著降低了延迟并提升了能效。
• 采用中介层或3D堆叠技术的FPGA-芯片粒混合架构可构建可扩展、高带宽的系统，结合了FPGA的灵活性与ASIC的性能优势。
• RAD-Sim与RAD-Gen工具可实现FPGA架构权衡的自动化探索，显著缩短了定制加速器变体的设计时间。
• 未来基于FPGA的加速器有望结合细粒度可重构性与粗粒度加速器模块，以及先进封装技术，以实现最优性能。
• 可重构加速器（RAD）的设计空间极为广阔，涉及结构优化、新型加速器模块以及先进互连技术（如NoCs与2D/3D集成）的综合设计。