[论文解读] A Competitive Edge: Can FPGAs Beat GPUs at DCNN Inference Acceleration in Resource-Limited Edge Computing Applications?

Ian Colbert, Jake Daly+2 more|arXiv (Cornell University)|Jan 30, 2021

Generative Adversarial Networks and Image Synthesis参考文献 25被引用 8

一句话总结

本论文提出了一种用于资源受限边缘设备中高效去卷积神经网络（DCNN）推理的时空并行化FPGA加速器。通过优化无零填充去卷积算法，并结合微观架构创新与统计分析，该FPGA在MNIST和CelebA数据集上的吞吐量-功耗比优于NVIDIA Jetson TX1 GPU，且运行间波动更低。

ABSTRACT

When trained as generative models, Deep Learning algorithms have shown exceptional performance on tasks involving high dimensional data such as image denoising and super-resolution. In an increasingly connected world dominated by mobile and edge devices, there is surging demand for these algorithms to run locally on embedded platforms. FPGAs, by virtue of their reprogrammability and low-power characteristics, are ideal candidates for these edge computing applications. As such, we design a spatio-temporally parallelized hardware architecture capable of accelerating a deconvolution algorithm optimized for power-efficient inference on a resource-limited FPGA. We propose this FPGA-based accelerator to be used for Deconvolutional Neural Network (DCNN) inference in low-power edge computing applications. To this end, we develop methods that systematically exploit micro-architectural innovations, design space exploration, and statistical analysis. Using a Xilinx PYNQ-Z2 FPGA, we leverage our architecture to accelerate inference for two DCNNs trained on the MNIST and CelebA datasets using the Wasserstein GAN framework. On these networks, our FPGA design achieves a higher throughput to power ratio with lower run-to-run variation when compared to the NVIDIA Jetson TX1 edge computing GPU.

研究动机与目标

• 应对移动与边缘计算环境中对低功耗、本地化推理深度生成模型日益增长的需求。
• 克服GPU在处理剪枝模型中常见的非结构化稀疏性与条件执行模式时的局限性。
• 设计一种面向资源受限FPGA的低功耗、可重构硬件加速器，专用于DCNN推理。
• 在对DCNN应用权重重剪枝时，平衡硬件性能与生成质量之间的权衡。
• 证明FPGA在DCNN推理任务中，其吞吐量-功耗效率甚至可超越优化后的边缘GPU。

提出的方法

• 将Zhang等人[26]提出的零插入去卷积算法适配至硬件，以降低资源占用并提升数据流效率。
• 实现一种时空并行化架构，通过空间分块与时间流水线化并用，实现高效的内存访问与计算。
• 应用取模算术的预处理技术，消除运行时依赖计算，提升吞吐量。
• 集成片上缓存与内存层次结构优化，最大限度减少对外部内存的访问，降低延迟。
• 采用基于MMD的优化度量标准（公式6），在非结构化权重重剪枝过程中平衡生成质量与执行速度。
• 开展高维统计分析，评估稀疏性对性能与模型保真度的综合影响。

实验结果

研究问题

• RQ1 基于FPGA的加速器能否在边缘应用的DCNN推理中实现高于GPU的吞吐量-功耗效率？
• RQ2 非结构化权重重剪枝如何影响FPGA加速的DCNN推理中的生成质量与硬件性能？
• RQ3 在基于FPGA的DCNN加速器中，哪些架构优化最有效于降低资源占用，同时保持高吞吐量？
• RQ4 与GPU工作负载相比，FPGA原生支持条件执行（如零跳过）在稀疏剪枝模型上的性能提升程度如何？
• RQ5 在FPGA加速的GAN推理中，是否存在一个最优稀疏度水平，可在推理速度与生成质量之间实现最佳平衡？

主要发现

• 基于FPGA的加速器在MNIST与CelebA的DCNN上均实现了高于NVIDIA Jetson TX1 GPU的吞吐量-功耗比。
• 该设计在性能上表现出更低的运行间波动，表明在不同工作负载下具备更高的稳定性。
• 所提出的算法与架构优化相比先前方法，显著降低了资源占用并提升了数据流效率。
• 非结构化权重重剪枝通过零跳过实现显著加速，但导致生成质量下降（以MMD距离衡量）。
• 所提出的基于MMD的优化度量标准（公式6）识别出性能与质量权衡的峰值点，实现平衡的稀疏度选择。
• FPGA实现能够在条件执行下保持稳定性能，而GPU在此类工作负载中则因效率低下而表现不佳。