[论文解读] hls4ml: An Open-Source Codesign Workflow to Empower Scientific Low-Power Machine Learning Devices

Farah Fahim, Hawks, Benjamin+28 more|arXiv (Cornell University)|Mar 9, 2021

Scientific Computing and Data Management被引用 61

一句话总结

引入 hls4ml，是一个开源工作流，通过高层综合将训练好的神经网络转换为 FPGA/ASIC 实现，具备量化感知训练、剪枝，以及端到端设备后端，用于科学领域的低功耗、低延迟机器学习。

ABSTRACT

Accessible machine learning algorithms, software, and diagnostic tools for energy-efficient devices and systems are extremely valuable across a broad range of application domains. In scientific domains, real-time near-sensor processing can drastically improve experimental design and accelerate scientific discoveries. To support domain scientists, we have developed hls4ml, an open-source software-hardware codesign workflow to interpret and translate machine learning algorithms for implementation with both FPGA and ASIC technologies. We expand on previous hls4ml work by extending capabilities and techniques towards low-power implementations and increased usability: new Python APIs, quantization-aware pruning, end-to-end FPGA workflows, long pipeline kernels for low power, and new device backends include an ASIC workflow. Taken together, these and continued efforts in hls4ml will arm a new generation of domain scientists with accessible, efficient, and powerful tools for machine-learning-accelerated discovery.

研究动机与目标

• 提供一个开源工作流，将 ML 模型转换为能源高效的 FPGA/ASIC 实现。
• 使领域科学家能够以较少的工程工作量进行 ML 硬件协同设计。
• 将训练时的优化（如量化和剪枝）纳入对硬件友好的工作流。
• 支持多种后端和设备目标，扩大低功耗 ML 硬件的可访问性。
• 展示端到端工作流并量化硬件资源/延迟权衡。

提出的方法

• 使用 hls4ml 及 Python API 和模型转换器（QKeras、TensorFlow、PyTorch、ONNX）将训练好的 NN 模型转换为基于 HLS 的硬件加速器。
• 应用如量化感知训练（QAT）、剪枝（包括 lottery-ticket 基于的方法）以及层融合等优化以降低精度和计算。
• 提供可配置参数（复用因子、定点位宽、剪枝百分比）以平衡延迟、吞吐量、功耗和资源。
• 生成供应商特定后端（Xilinx 的 Vitis HLS，目前对 Intel Quartus HLS 和 Mentor Catapult HLS 的持续支持）。
• 使生成的 HLS 代码的位精确 Python 模拟在 ML 工作流中用于调试和验证。
• 描述端到端 FPGA/ASIC 工作流，包括 Vitis Accel 集成和设备特定考虑。

实验结果

研究问题

• RQ1 开源代码设计工作流如何将训练好的 ML 模型转化为能源高效的 FPGA/ASIC 实现？
• RQ2 哪些训练时优化（量化、剪枝）在尽量减少硬件资源的同时能最好地保持精度？
• RQ3 硬件设计选择（位精度、复用因子、稀疏性）如何影响低功耗 ML 设备的延迟、吞吐量和功耗？
• RQ4 该工作流是否支持多后端和设备目标（FPGA/ASIC）并具备可用的端到端流程？
• RQ5 在科学任务（如 jet classification、MNIST）上的实际演示及所实现的硬件节省有哪些？

主要发现

• 量化感知训练在较低比特宽度下也能达到与较高比特基线相近的准确性（例如在某些任务中，6 位 QAT 近似保持近 32 位基线的准确性）。
• 剪枝结合 QAT（量化感知剪枝）在目标任务上能显著减少计算量（BOPs）和硬件资源，而性能几乎不损失。
• 端到端 FPGA 工作流（如 Vitis Accel）和 ASIC 后端得到支持，能够在 Xilinx FPGA 及其他平台上实现可扩展部署。
• 可配置复用因子和稀疏感知内核展示了如何在特定应用中调整 DSP/LUT 使用和延迟权衡。
• 硬件结果显示显著的资源减少（例如 DSP 使用从 27 降至 0.6% 的 16-bit 与 6-bit QAT 模型在 Xilinx FPGA 的比较）和对量化模型的延迟改进。
• 演示包括 jet classification 和 MNIST，具有实际 FPGA 资源和延迟特性。