[论文解读] FastML Science Benchmarks: Accelerating Real-Time Scientific Edge Machine Learning

J. Duarte, Nhan Viet Tran+5 more|arXiv (Cornell University)|Jul 16, 2022

Advanced Memory and Neural Computing被引用 5

一句话总结

本文提出了一套针对科学领域（如粒子物理和加速器控制）中监督学习、无监督学习和强化学习任务的实时科学边缘机器学习基准测试，目标是实现最低达3.9 μs的超低延迟推理。基准测试涵盖事件触发、有损数据压缩和光束控制，通过在FPGA上部署硬件优化模型，满足从纳秒到毫秒级的延迟约束，对下一代科学仪器至关重要。

ABSTRACT

Applications of machine learning (ML) are growing by the day for many unique and challenging scientific applications. However, a crucial challenge facing these applications is their need for ultra low-latency and on-detector ML capabilities. Given the slowdown in Moore's law and Dennard scaling, coupled with the rapid advances in scientific instrumentation that is resulting in growing data rates, there is a need for ultra-fast ML at the extreme edge. Fast ML at the edge is essential for reducing and filtering scientific data in real-time to accelerate science experimentation and enable more profound insights. To accelerate real-time scientific edge ML hardware and software solutions, we need well-constrained benchmark tasks with enough specifications to be generically applicable and accessible. These benchmarks can guide the design of future edge ML hardware for scientific applications capable of meeting the nanosecond and microsecond level latency requirements. To this end, we present an initial set of scientific ML benchmarks, covering a variety of ML and embedded system techniques.

研究动机与目标

• 为应对先进仪器带来的数据速率持续增长，解决科学边缘领域对超低延迟机器学习日益增长的需求。
• 定义通用适用、受系统约束的基准测试，推动机器学习前沿发展超越以消费应用为导向的基准测试（如MLPerf）。
• 涵盖多种机器学习范式——监督学习、无监督学习和强化学习——并覆盖具有严格延迟和数据速率要求的真实科学工作负载。
• 提供标准化、可访问的基准测试套件，包含数据集和代码，以加速科学边缘机器学习的软硬件协同设计。
• 通过可扩展的基准设计，为未来拓展至天文学、神经科学和显微成像等领域的应用奠定基础。

提出的方法

• 提出三项核心基准测试任务：使用点云输入进行罕见事件触发的监督学习，基于能量分布度量的传感器数据压缩无监督学习，以及使用时间序列传感器数据进行实时光束控制的强化学习。
• 定义系统级约束，包括延迟（强化学习基准为3.9 μs）、数据速率（高达数十TB/s）以及流水线间隔（如光束控制为5 ms）。
• 使用固定LSTM代理模型（1.5M参数）模拟加速器环境，并在Intel Arria10 SoC上使用轻量级DQN智能体（35K参数）实现实时控制。
• 采用20位定点量化模型权重和偏置，以实现在资源受限FPGA上的低延迟推理。
• 对DQN智能体进行最小资源使用优化：在Arria10 SoC上仅需53个DSP、238个BRAM、672个M9K块、43.3k个ALM和92.6k个触发器。
• 提供公开的原型代码仓库，以标准化评估流程，并促进科学与系统研究社区的共同采纳。

实验结果

研究问题

• RQ1 我们如何定义一组基于科学依据、适用于实时边缘机器学习的基准测试，使其既针对科学仪器具体需求，又具备跨领域的广泛适用性？
• RQ2 在基准测试中必须嵌入哪些关键系统级约束——如延迟、数据速率和硬件资源使用——以推动科学边缘机器学习的创新？
• RQ3 我们能否设计出涵盖多种机器学习范式（监督学习、无监督学习、强化学习）的基准任务，同时保持通用性与技术严谨性？
• RQ4 如何在FPGA等嵌入式平台实现亚微秒级推理延迟（例如3.9 μs），以满足关键科学应用的需求？
• RQ5 标准化基准测试在加速极端规模科学数据处理中机器学习算法与硬件协同设计方面，能发挥何种作用？

主要发现

• 针对加速器光束控制的强化学习基准测试在Intel Arria10 SoC上实现了3.9 μs的延迟，满足5 ms控制周期要求，并为数据传输预留充足余量。
• DQN智能体模型已量化为20位定点表示，且仅占用53个DSP、238个BRAM和92.6k个触发器，可在FPGA上高效部署。
• 该基准测试套件包含三项不同的科学工作负载：事件触发（监督学习）、数据压缩（无监督学习）和光束控制（强化学习），覆盖多样化的机器学习与系统需求。
• 该基准测试设计具备可扩展性，适用于粒子物理、等离子体物理、天文学和神经科学等领域，未来具备进一步扩展潜力。
• 与以消费应用为主的基准测试（如MLPerf Mobile和Tiny）相比，本基准测试在延迟方面严格得多，后者推理速度约为本基准的100倍慢。
• 已发布公开代码仓库，以支持可复现性、社区贡献，并实现对科学应用新边缘机器学习解决方案的标准化评估。