[论文解读] HybridDNN: A Framework for High-Performance Hybrid DNN Accelerator Design and Implementation

Hanchen Ye, Xiaofan Zhang+3 more|arXiv (Cornell University)|Apr 8, 2020

Advanced Neural Network Applications参考文献 22被引用 5

一句话总结

HybridDNN 是一种框架，通过集成混合空间/Winograd 卷积处理引擎、多数据流支持以及自动化设计空间探索，实现了在FPGA上高性能、灵活且可扩展的DNN加速器设计。其在VU9P上达到3375.7 GOPS，在PYNQ-Z1上达到83.3 GOPS，性能比现有最先进的基于FPGA的DNN加速器高出1.8倍，能效比提高2.0倍。

ABSTRACT

To speedup Deep Neural Networks (DNN) accelerator design and enable effective implementation, we propose HybridDNN, a framework for building high-performance hybrid DNN accelerators and delivering FPGA-based hardware implementations. Novel techniques include a highly flexible and scalable architecture with a hybrid Spatial/Winograd convolution (CONV) Processing Engine (PE), a comprehensive design space exploration tool, and a complete design flow to fully support accelerator design and implementation. Experimental results show that the accelerators generated by HybridDNN can deliver 3375.7 and 83.3 GOPS on a high-end FPGA (VU9P) and an embedded FPGA (PYNQ-Z1), respectively, which achieve a 1.8x higher performance improvement compared to the state-of-art accelerator designs. This demonstrates that HybridDNN is flexible and scalable and can target both cloud and embedded hardware platforms with vastly different resource constraints.

研究动机与目标

• 为解决在资源约束各异的多样化FPGA平台中设计高性能、高能效DNN加速器的挑战。
• 克服现有基于FPGA的DNN加速器在可扩展性、内存带宽瓶颈以及复杂设计流程方面的局限性。
• 提供一种灵活且自动化的框架，支持云（高资源）和嵌入式（低资源）FPGA平台。
• 通过集成性能估计、设计空间探索和高层次综合（HLS），实现高效的软硬件协同设计，支持快速原型开发。
• 通过自动化选择卷积模式（空间/Winograd）、数据流（IS/WS）和平行度因子，实现最优加速器配置。

提出的方法

• 该框架采用混合空间/Winograd 卷积处理元素（PE），通过复用同一硬件支持两种计算模式，最大限度减少面积开销。
• 支持两种数据流架构——输入驻留（IS）和权重重驻留（WS），以优化内存访问模式和数据重用。
• 建立全面的分析性能模型，仅在VU9P和PYNQ-Z1上分别产生4.27%和4.03%的误差，准确估计吞吐量和能效。
• 设计空间探索（DSE）引擎基于性能和资源约束，自动选择卷积模式、数据流和并行度因子的最优配置。
• 框架生成基于C/C++的高层次综合（HLS）代码，可直接用于FPGA实现，支持快速定制和移植。
• 通过在空间和Winograd模式之间复用LUT和DSP，优化资源利用率，VU9P上仅需额外26.4%的LUT即可实现混合支持。

实验结果

研究问题

• RQ1 统一的DNN加速器框架能否高效支持高性能云FPGA和资源受限的嵌入式FPGA？
• RQ2 如何在最小面积开销下实现混合空间/Winograd 卷积，同时保持高性能？
• RQ3 分析性能模型在DNN加速器设计中，能在多大程度上指导准确且快速的设计空间探索？
• RQ4 与传统单模式加速器相比，使用混合卷积模式在性能和能效方面能带来多大提升？
• RQ5 在实际DNN工作负载中，内存带宽如何影响空间与Winograd 卷积模式之间的性能权衡？

主要发现

• HybridDNN 生成的加速器在高端VU9P FPGA上实现3375.7 GOPS，相比最先进水平性能提升1.8倍。
• 在嵌入式PYNQ-Z1 FPGA上，框架实现83.3 GOPS，能效比（73.5 GOPS/W）比以往基于FPGA的设计高出2.0倍。
• 在VU9P上，混合卷积PE仅增加26.4%的LUT，且无需额外DSP，证明了空间与Winograd模式间高效的硬件资源共享。
• 分析性能模型在VU9P和PYNQ-Z1上的估计误差分别仅为4.27%和4.03%，实现了可靠且快速的设计空间探索。
• 当内存带宽充足时，Winograd 模式性能优于空间模式；但在内存受限条件下性能下降，凸显自适应配置的重要性。
• DSE引擎因VU9P上内存带宽充足，成功为所有VGG16 卷积层选择Winograd 模式，证实了框架根据工作负载特定约束进行优化的能力。