[论文解读] Learning on Hardware: A Tutorial on Neural Network Accelerators and Co-Processors

Lukas Baischer, Matthias Wess+1 more|arXiv (Cornell University)|Apr 19, 2021

Advanced Neural Network Applications参考文献 43被引用 10

一句话总结

本教程全面概述了神经网络硬件加速器——GPU、ASIC 和 FPGA——重点聚焦于卷积神经网络（CNN）的推理优化。它评估了算法、量化和架构技术，表明在边缘应用中，FPGA 在吞吐量、能效和可重构性之间提供了出色的权衡，而 ASIC 在数据中心表现卓越，GPU 由于高可用性和框架支持，仍是训练的最佳选择。

ABSTRACT

Deep neural networks (DNNs) have the advantage that they can take into account a large number of parameters, which enables them to solve complex tasks. In computer vision and speech recognition, they have a better accuracy than common algorithms, and in some tasks, they boast an even higher accuracy than human experts. With the progress of DNNs in recent years, many other fields of application such as diagnosis of diseases and autonomous driving are taking advantage of them. The trend at DNNs is clear: The network size is growing exponentially, which leads to an exponential increase in computational effort and required memory size. For this reason, optimized hardware accelerators are used to increase the performance of the inference of neuronal networks. However, there are various neural network hardware accelerator platforms, such as graphics processing units (GPUs), application specific integrated circuits (ASICs) and field programmable gate arrays (FPGAs). Each of these platforms offer certain advantages and disadvantages. Also, there are various methods for reducing the computational effort of DNNs, which are differently suitable for each hardware accelerator. In this article an overview of existing neural network hardware accelerators and acceleration methods is given. Their strengths and weaknesses are shown and a recommendation of suitable applications is given. In particular, we focus on acceleration of the inference of convolutional neural networks (CNNs) used for image recognition tasks. Given that there exist many different hardware architectures. FPGA-based implementations are well-suited to show the effect of DNN optimization methods on accuracy and throughput. For this reason, the focus of this work is more on FPGA-based implementations.

研究动机与目标

• 分析深度神经网络（DNN）日益增长的计算需求，以及通用 CPU 在处理这些需求时的局限性。
• 评估主要硬件加速平台——GPU、ASIC 和 FPGA——在 DNN 推理中的优势与劣势。
• 研究算法优化、量化和数据流管理如何影响不同硬件平台上的性能和能效。
• 根据吞吐量、功耗预算和设计灵活性等应用特定需求，提供选择加速器的实际指导。
• 展示基于 FPGA 的实现如何在实时边缘应用中有效平衡精度、吞吐量和能效。

提出的方法

• 调研并对比主要硬件加速平台：GPU、ASIC 和 FPGA，重点关注其在 CNN 推理中的适用性。
• 分析算法优化技术，如权重重剪枝、激活量化（最低至 int4）以及网络压缩，以减轻计算负载。
• 评估数据流处理策略和内存带宽减少技术，特别是在稀疏和量化网络中的应用。
• 以基于 FPGA 的实现为案例研究，展示优化方法对吞吐量和精度的影响，利用高层次综合（HLS）和 OpenCL 框架。
• 使用吞吐量、每次推理的能耗以及对高级 API 的支持等指标，对各平台的性能、能效和可用性进行基准测试。
• 对比现代 GPU 中的张量核心与专用加速器（如 TPU），突出在精度、可编程性和能效之间的权衡。

实验结果

研究问题

• RQ1 在 DNN 推理中，不同硬件加速器（GPU、ASIC、FPGA）在吞吐量、能效和可用性方面如何比较？
• RQ2 量化和网络压缩对不同加速器平台上的模型精度和硬件性能有何影响？
• RQ3 为何 FPGA 特别适合用于展示优化技术在实时边缘系统中对精度和吞吐量的影响？
• RQ4 诸如数据流设计和内存带宽管理等架构特性如何影响 DNN 加速器的效率？
• RQ5 在实际应用中部署 DNN 加速器时，可重构性（FPGA）、性能（ASIC）和可用性（GPU）之间的权衡是什么？

主要发现

• 基于 FPGA 的加速器在吞吐量上可与通用 GPU 相媲美，同时提供显著更高的能效，使其成为功耗受限的边缘设备的理想选择。
• ASIC 在数据中心部署中提供最高的性能和能效，尤其在使用 TPU 等专用硬件并结合 int8 或 int4 量化时表现更优。
• GPU 由于成熟的高级框架（如 TensorFlow 和 PyTorch）以及 TensorRT 等库对训练和推理的原生支持，仍是可用性最高的平台。
• 量化至 int4 和网络剪枝可降低计算负载和内存带宽，但可能导致精度损失；通过后优化微调可有效缓解此问题。
• FPGA 具有较短的设计周期和可重编程性，这在快速演进的深度学习环境中至关重要，使其在快速变化的模型中比 ASIC 具有更快的上市时间。
• 优化技术的有效性高度依赖于底层硬件架构、量化支持和数据流设计，因此“一刀切”的优化策略不可行。