[论文解读] Benchmarking Quantized Neural Networks on FPGAs with FINN

Q. Ducasse, Pascal Cotret+2 more|arXiv (Cornell University)|Feb 2, 2021

Advanced Neural Network Applications参考文献 22被引用 13

一句话总结

该论文使用 FINN 框架在 FPGAs 上对混合精度量化神经网络进行了基准测试，表明 2–8 位量化可实现高达 62 倍的吞吐量提升，且精度损失极小。该研究评估了并行化配置，并表明压缩后的网络可高效映射至 FPGAs，在通过优化量化和硬件感知训练实现低资源使用的同时，获得高性能表现。

ABSTRACT

The ever-growing cost of both training and inference for state-of-the-art neural networks has brought literature to look upon ways to cut off resources used with a minimal impact on accuracy. Using lower precision comes at the cost of negligible loss in accuracy. While training neural networks may require a powerful setup, deploying a network must be possible on low-power and low-resource hardware architectures. Reconfigurable architectures have proven to be more powerful and flexible than GPUs when looking at a specific application. This article aims to assess the impact of mixed-precision when applied to neural networks deployed on FPGAs. While several frameworks exist that create tools to deploy neural networks using reduced-precision, few of them assess the importance of quantization and the framework quality. FINN and Brevitas, two frameworks from Xilinx labs, are used to assess the impact of quantization on neural networks using 2 to 8 bit precisions and weights with several parallelization configurations. Equivalent accuracy can be obtained using lower-precision representation and enough training. However, the compressed network can be better parallelized allowing the deployed network throughput to be 62 times faster. The benchmark set up in this work is available in a public repository (https://github.com/QDucasse/nn benchmark).

研究动机与目标

• 评估混合精度量化对神经网络在 FPGA 上推理性能的影响。
• 评估 FINN 和 Brevitas 框架在可重构硬件上实现低精度部署的有效性。
• 分析不同量化位宽（2–8 位）和并行化策略对吞吐量和精度的影响。
• 提供一个公开的基准套件，以实现 FPGAs 上量化神经网络的可复现评估。

提出的方法

• 作者使用 Xilinx 的 FINN 和 Brevitas 框架将神经网络量化为 2–8 位定点表示。
• 通过训练后量化和微调，在较低精度级别下保持模型精度。
• 利用硬件感知编译将量化后的网络映射到 FPGAs，并优化并行执行。
• 通过测量不同位宽和并行化配置下的吞吐量，评估性能提升。
• 建立公开的基准代码仓库，以确保可复现性并促进未来比较。

实验结果

研究问题

• RQ1 混合精度量化如何影响 FPGA 上神经网络的精度和吞吐量？
• RQ2 在 FPGA 平台上，通过 2–8 位量化可实现的最大性能提升是多少？
• RQ3 不同的并行化策略如何影响 FPGA 上量化网络的效率？
• RQ4 将精度从全精度降低到 2–8 位时，精度能保留到何种程度？

主要发现

• 经过微调后，2–8 位精度的量化网络与全精度模型精度相当。
• 与 FPGA 上的全精度推理相比，部署后的网络吞吐量最高提升了 62 倍。
• 更低的精度表示支持更激进的并行化，显著提升了吞吐量。
• 该基准设置已公开，可实现 FPGAs 上量化模型的可复现评估。