[论文解读] A Survey of FPGA Based Deep Learning Accelerators: Challenges and Opportunities

Teng Wang, Chao Wang+2 more|arXiv (Cornell University)|Dec 25, 2018

Advanced Neural Network Applications参考文献 24被引用 39

一句话总结

本文综述了基于FPGA的深度学习加速器，分析其针对特定神经网络类型、算法和架构的设计。与CPU和GPU实现进行对比，突出其在性能、能效和可重构性方面的优势，同时识别出在深度学习工作负载的软硬件协同设计中的关键挑战和未来研究机会。

ABSTRACT

With the rapid development of in-depth learning, neural network and deep learning algorithms have been widely used in various fields, e.g., image, video and voice processing. However, the neural network model is getting larger and larger, which is expressed in the calculation of model parameters. Although a wealth of existing efforts on GPU platforms currently used by researchers for improving computing performance, dedicated hardware solutions are essential and emerging to provide advantages over pure software solutions. In this paper, we systematically investigate the neural network accelerator based on FPGA. Specifically, we respectively review the accelerators designed for specific problems, specific algorithms, algorithm features, and general templates. We also compared the design and implementation of the accelerator based on FPGA under different devices and network models and compared it with the versions of CPU and GPU. Finally, we present to discuss the advantages and disadvantages of accelerators on FPGA platforms and to further explore the opportunities for future research.

研究动机与目标

• 系统性地回顾针对特定神经网络问题和算法的FPGA加速器。
• 在不同网络模型和设备上，对比FPGA加速器与CPU和GPU实现的性能表现。
• 分析FPGA加速器在性能、能效和可重构性方面的权衡。
• 识别在FPGA上设计定制化深度学习加速器的关键挑战和新兴机遇。

提出的方法

• 根据目标应用对FPGA加速器进行分类，如图像、视频和语音处理。
• 分析加速器设计，重点关注算法特定特征，如层类型、精度和稀疏性。
• 从延迟、吞吐量和能效角度，对比基于FPGA的加速器与CPU和GPU实现的性能表现。
• 评估不同FPGA设备和网络架构（如CNNs、RNNs）之间的设计权衡。
• 整合通用FPGA加速器框架的设计模式和模板。

实验结果

研究问题

• RQ1 在深度学习推理场景下，基于FPGA的加速器与CPU和GPU相比，在性能和能效方面表现如何？
• RQ2 在为多样化神经网络模型设计FPGA加速器时，面临哪些关键的架构和实现挑战？
• RQ3 算法特定特征（如激活函数、稀疏性）如何影响FPGA加速器的设计？
• RQ4 在FPGA上利用可重构硬件进行深度学习的未来研究存在哪些机遇？

主要发现

• 对于特定工作负载，尤其是推理场景，基于FPGA的加速器在能效和延迟方面优于CPU和GPU。
• 通过利用数据级并行和模型级并行，FPGA上的定制化加速器在性能上超越通用平台。
• FPGA的可重构性使其能够高效支持多样化且不断演化的深度学习模型。
• 设计复杂性和工具链限制仍是FPGA加速器开发中的主要挑战。
• 未来研究应聚焦于自动化设计流程和协同设计方法，以提升开发效率和性能。