[论文解读] FINN-R: An End-to-End Deep-Learning Framework for Fast Exploration of Quantized Neural Networks

Michaela Blott, Thomas B. Preußer+4 more|arXiv (Cornell University)|Sep 12, 2018

Advanced Neural Network Applications参考文献 50被引用 30

一句话总结

FINN-R 是一种端到端的深度学习框架，可自动完成在FPGA上量化神经网络加速器的设计空间探索与硬件生成。它支持任意精度，优化了性能与资源使用，并在AWS F1上实现高达50 TOp/s的性能，在PYNQ-Z1等嵌入式平台实现5 TOp/s的性能。

ABSTRACT

Convolutional Neural Networks have rapidly become the most successful machine learning algorithm, enabling ubiquitous machine vision and intelligent decisions on even embedded computing-systems. While the underlying arithmetic is structurally simple, compute and memory requirements are challenging. One of the promising opportunities is leveraging reduced-precision representations for inputs, activations and model parameters. The resulting scalability in performance, power efficiency and storage footprint provides interesting design compromises in exchange for a small reduction in accuracy. FPGAs are ideal for exploiting low-precision inference engines leveraging custom precisions to achieve the required numerical accuracy for a given application. In this article, we describe the second generation of the FINN framework, an end-to-end tool which enables design space exploration and automates the creation of fully customized inference engines on FPGAs. Given a neural network description, the tool optimizes for given platforms, design targets and a specific precision. We introduce formalizations of resource cost functions and performance predictions, and elaborate on the optimization algorithms. Finally, we evaluate a selection of reduced precision neural networks ranging from CIFAR-10 classifiers to YOLO-based object detection on a range of platforms including PYNQ and AWS\,F1, demonstrating new unprecedented measured throughput at 50TOp/s on AWS-F1 and 5TOp/s on embedded devices.

研究动机与目标

• 解决在资源受限平台（如FPGA）上高效部署低精度神经网络的挑战。
• 实现对量化神经网络中精度、性能与资源使用之间设计权衡的快速探索。
• 自动化生成针对多样化神经网络架构与目标平台的优化定制硬件加速器。
• 通过支持任意精度并集成剪枝与量化技术，提升推理的准确率与效率。
• 提供准确的性能与资源预测，以指导设计决策，而无需完整实现周期。

提出的方法

• 为基于FPGA的量化神经网络加速器提出形式化的资源成本函数与性能预测模型。
• 采用端到端工作流，接收神经网络描述并为特定FPGA生成优化的硬件架构。
• 支持数据流（DF）与内存优化（MO）架构，并根据目标平台约束自动映射。
• 利用高层次综合（HLS）与硬件成本估算，在比特流生成前预测性能与资源使用情况。
• 集成剪枝与量化技术，以减少模型大小与计算成本，同时保持精度。
• 利用屋顶模型指导精度选择，并评估不同位宽与平台下的性能扩展性。

实验结果

研究问题

• RQ1 如何在FPGA上以最小的人工干预高效探索量化神经网络加速器的设计空间？
• RQ2 在现代FPGA上，使用任意精度的量化网络可实现怎样的性能与资源效率？
• RQ3 在无需完整实现的情况下，性能与资源预测的准确性如何，能否有效指导硬件生成？
• RQ4 在吞吐量与延迟方面，数据流架构与内存优化架构之间的权衡如何？
• RQ5 剪枝与量化技术结合使用，能在多大程度上减少模型大小与计算成本，同时保持精度？

主要发现

• FINN-R 在AWS F1 FPGA上实现了50 TOp/s的性能，展示了量化神经网络推理前所未有的吞吐量。
• 在PYNQ-Z1等嵌入式平台，FINN-R 实现了5 TOp/s的性能，展现了在低功耗、低面积环境下的高效性。
• 数据流架构的性能预测准确率达75%–99%，可在实现前提供可靠的指导。
• 该框架支持广泛的网络模型，从CIFAR-10分类器到基于YOLO的目标检测器，覆盖PYNQ与AWS F1等多个平台。
• 在ZedBoard与PYNQ-Z1上的结果表明，相比以往工作，性能提升了10倍，FINN-R即使在更小的FPGA上也优于现有加速器。
• 在低核心数平台（如PYNQ-Z1）上，主机系统的内存重组可能降低性能，但在核心数更多的系统（如Ultra96）上该问题可被缓解。