[论文解读] CFU Playground: Full-Stack Open-Source Framework for Tiny Machine Learning (tinyML) Acceleration on FPGAs

Shvetank Prakash, Tim Callahan+6 more|arXiv (Cornell University)|Jan 5, 2022

Parallel Computing and Optimization Techniques被引用 5

一句话总结

CFU Playground 是一个开源的全栈框架，可实现针对 FPGA 上 TinyML 推理的定制功能单元（CFUs）的快速、敏捷的软硬件协同设计。通过将软 RISC-V CPU 与领域特定的 CFUs 紧密耦合，并利用 Vizier 实现自动化优化，该框架通过迭代设计、性能分析和优化，实现了 55× 至 75× 的性能提升。

ABSTRACT

Need for the efficient processing of neural networks has given rise to the development of hardware accelerators. The increased adoption of specialized hardware has highlighted the need for more agile design flows for hardware-software co-design and domain-specific optimizations. In this paper, we present CFU Playground: a full-stack open-source framework that enables rapid and iterative design and evaluation of machine learning (ML) accelerators for embedded ML systems. Our tool provides a completely open-source end-to-end flow for hardware-software co-design on FPGAs and future systems research. This full-stack framework gives the users access to explore experimental and bespoke architectures that are customized and co-optimized for embedded ML. Our rapid, deploy-profile-optimization feedback loop lets ML hardware and software developers achieve significant returns out of a relatively small investment in customization. Using CFU Playground's design and evaluation loop, we show substantial speedups between 55$ imes$ and 75$ imes$. The soft CPU coupled with the accelerator opens up a new, rich design space between the two components that we explore in an automated fashion using Vizier, an open-source black-box optimization service.

研究动机与目标

• 解决资源受限嵌入式系统中领域特定 TinyML 加速器缺乏敏捷、低成本设计流程的问题。
• 实现涵盖系统级瓶颈的端到端软硬件协同设计，而不仅关注孤立加速器的性能。
• 提供一个开源、可扩展且与厂商无关的框架，用于在 FPGA 上快速原型设计和评估自定义功能单元（CFUs）。
• 探索软 CPU 与紧密耦合的 CFU 之间的设计空间，实现在不产生高昂 NRE 成本的前提下对模型特定操作进行优化。
• 支持迭代的、基于反馈的设计周期（部署 → 性能分析 → 优化），以实现高效的 TinyML 加速。

提出的方法

• 集成开源工具链，包括 TensorFlow Lite Micro、GCC、LiteX、VexRiscv、Migen、Amaranth、yosys、nextpnr 以及 F4PGA/SymbiFlow，实现基于 FPGA 的 SoC 生成的端到端流程。
• 采用扩展了自定义、应用特定 CFUs 的软 RISC-V CPU，以加速关键机器学习计算热点，如卷积运算。
• 使用 Vizier（一个开源的黑箱优化服务），自动化探索 CPU 与 CFU 配置之间的设计空间权衡。
• 应用迭代优化技术，如循环展开、SIMD 乘加运算和数据布局转换，以加速关键内核（如 MobileNetV2 的深度可分离卷积）。
• 支持对硬件（CFUs）和软件（TFLM 内核）的模型无关、增量式定制，以协同优化性能与资源使用。
• 支持完整的硬件在回路评估，捕捉系统级开销（如数据移动、调度和预处理），这些因素在孤立加速器设计中常被忽略。

实验结果

研究问题

• RQ1 全栈开源框架如何实现 FPGA 上 TinyML 加速器的敏捷、低成本设计与评估？
• RQ2 通过为模型特定操作协同设计软 CPU 与自定义功能单元（CFUs），可实现多大的性能提升？
• RQ3 通过 Vizier 实现的自动化、基于机器学习的设计空间探索，在识别 TinyML 推理的最优软硬件权衡方面有多高效？
• RQ4 系统级瓶颈（如数据移动和调度）在多大程度上影响了孤立加速器优化的有效性？
• RQ5 CFUs 是否能为超低功耗嵌入式系统中的离散加速器提供一种灵活、可扩展且高效的替代方案？

主要发现

• CFU Playground 实现了无需厂商锁定或高昂 NRE 成本的完整开源端到端流程，用于在 FPGA 上设计和评估 TinyML 加速器。
• 通过协同优化软 CPU 和自定义 CFUs 以加速卷积运算，该框架在 MobileNetV2 上实现了 55× 至 75× 的推理性能提升。
• 利用 Vizier 进行自动化设计空间探索，显著提升了性能，且人工干预极少，实现了快速迭代与优化。
• CFUs 与软件栈的集成使得关键计算热点能够高效加速，同时保持对算法变更的灵活性。
• 系统级性能分析表明，软件开销和数据移动可能是主要瓶颈，而 CFU Playground 通过整体评估机制有效应对了这些问题。
• 该框架支持增量式定制，使开发者可从小型 CFUs 逐步扩展为完整加速器，展示了通往高性能 TinyML 系统的可扩展路径。