[论文解读] fpgaConvNet: A Toolflow for Mapping Diverse Convolutional Neural Networks on Embedded FPGAs

Stylianos I. Venieris, Christos-Savvas Bouganis|arXiv (Cornell University)|Nov 23, 2017

Advanced Neural Network Applications参考文献 4被引用 15

一句话总结

fpgaConvNet 是一种基于 SDF 的自动化工具流，通过将设计空间探索建模为多目标优化问题，将各种卷积神经网络（包括具有非规则连接的网络）映射到嵌入式 FPGA 上。在相同的 5W 功耗预算下，其吞吐量最高可达高度优化的嵌入式 GPU 设计的 6.65 倍。

ABSTRACT

In recent years, Convolutional Neural Networks (ConvNets) have become an enabling technology for a wide range of novel embedded Artificial Intelligence systems. Across the range of applications, the performance needs vary significantly, from high-throughput video surveillance to the very low-latency requirements of autonomous cars. In this context, FPGAs can provide a potential platform that can be optimally configured based on the different performance needs. However, the complexity of ConvNet models keeps increasing making their mapping to an FPGA device a challenging task. This work presents fpgaConvNet, an end-to-end framework for mapping ConvNets on FPGAs. The proposed framework employs an automated design methodology based on the Synchronous Dataflow (SDF) paradigm and defines a set of SDF transformations in order to efficiently explore the architectural design space. By selectively optimising for throughput, latency or multiobjective criteria, the presented tool is able to efficiently explore the design space and generate hardware designs from high-level ConvNet specifications, explicitly optimised for the performance metric of interest. Overall, our framework yields designs that improve the performance by up to 6.65x over highly optimised embedded GPU designs for the same power constraints in embedded environments.

研究动机与目标

• 解决在严格功耗、吞吐量和延迟约束下，将复杂且多样的卷积神经网络映射到嵌入式 FPGA 上的日益严峻挑战。
• 自动化探索大规模、多维的 FPGA 设计空间，用于卷积神经网络加速，减少人工干预并提高效率。
• 支持常规与非规则卷积神经网络架构（如 ResNet、DenseNet 和 Inception），超越传统模型如 AlexNet 和 VGG16。
• 根据应用特定的性能需求，生成针对吞吐量、延迟或多重目标标准优化的硬件加速器。
• 在保持低功耗的同时，实现比高度优化的嵌入式 GPU 解决方案更高的每瓦性能表现，适用于移动和嵌入式系统。

提出的方法

• 该框架使用同步数据流（Synchronous Dataflow, SDF）模型，将卷积神经网络工作负载和 FPGA 硬件映射表示为带数据流弧和计算节点的有向图。
• 将设计空间探索建模为数学优化问题，其参数由编译时可配置的构建模块及其资源-性能权衡关系决定。
• 通过代数方式应用一组 SDF 变换（如支持重配置的图划分、粗粒度和细粒度折叠、权重重新加载），探索性能与资源之间的权衡。
• 该框架支持 Caffe 作为前端，并在 Xilinx Zynq 7045 FPGA 上使用 16 位定点数（FXP16）映射模型。
• 集成分析型吞吐量、延迟和资源消耗模型，实现对设计空间的高效、自动化探索。
• 该方法支持从高级卷积神经网络规格端到端生成流式加速器，支持如 DenseNet 和 ResNet 中的非规则数据流。

实验结果

研究问题

• RQ1 自动化工具流能否在尊重功耗、吞吐量和延迟约束的前提下，高效探索大规模的 FPGA 设计空间用于卷积神经网络加速？
• RQ2 在相同功耗预算下，基于 FPGA 的卷积神经网络加速器性能与高度优化的嵌入式 GPU 实现相比如何？
• RQ3 所提出的基于 SDF 的方法能否有效处理包括现代模型如 DenseNet-161 在内的常规与非规则卷积神经网络架构？
• RQ4 该框架在嵌入式 FPGA 部署中，能在多大程度上同时优化吞吐量和延迟等多重目标标准？
• RQ5 与最先进的嵌入式 GPU 相比，基于 FPGA 优化的卷积神经网络加速器在每瓦性能方面能实现多大的提升？

主要发现

• 在 5W 功耗预算下，fpgaConvNet 在延迟敏感型应用中，吞吐量最高可达 NVIDIA Tegra X1 GPU 的 6.65 倍。
• 对于吞吐量驱动型工作负载，fpgaConvNet 平均比 Tegra X1 提升 3.32 倍，几何平均提升 3.07 倍。
• 在延迟敏感场景中，fpgaConvNet 平均吞吐量较 Tegra X1 提升 3.95 倍，几何平均提升 3.43 倍。
• 在峰值 GPU 频率（998 MHz）下，fpgaConvNet 在延迟驱动型应用中实现的每瓦性能比 Tegra X1 提高 1.70 倍。
• 该框架首次实现了 DenseNet-161 在 FPGA 上的映射，证明了其处理复杂非规则卷积神经网络架构的能力。
• 即使在 GPU 达到峰值性能条件下，fpgaConvNet 仍比高度优化的嵌入式 GPU 设计实现高达 1.70 倍的每瓦性能提升。