[论文解读] Autoencoders on FPGAs for real-time, unsupervised new physics detection at 40 MHz at the Large Hadron Collider

Ekaterina Govorkova, Ema Puljak+12 more|OSTI OAI (U.S. Department of Energy Office of Scientific and Technical Information)|Aug 9, 2021

Particle physics theoretical and experimental studies参考文献 46被引用 5

一句话总结

本论文提出在大型强子对撞机（LHC）的Level-1触发器（L1T）中，于FPGA上部署量化与剪枝后的深度自编码器（AEs）和变分自编码器（VAEs），以实现实时、无监督的异常检测。通过使用hls4ml结合量化感知训练与延迟优化的仅编码器推理，作者仅使用Xilinx Virtex VU9P FPGA不到3%的逻辑资源，便实现了80 ns的延迟，使新物理信号的识别能力提升三个数量级，同时满足L1T的严格约束条件。

ABSTRACT

In this paper, we show how to adapt and deploy anomaly detection algorithms based on deep autoencoders, for the unsupervised detection of new physics signatures in the extremely challenging environment of a real-time event selection system at the Large Hadron Collider (LHC). We demonstrate that new physics signatures can be enhanced by three orders of magnitude, while staying within the strict latency and resource constraints of a typical LHC event filtering system. This would allow for collecting datasets potentially enriched with high-purity contributions from new physics processes. Through per-layer, highly parallel implementations of network layers, support for autoencoder-specific losses on FPGAs and latent space based inference, we demonstrate that anomaly detection can be performed in as little as $80\,$ns using less than 3% of the logic resources in the Xilinx Virtex VU9P FPGA. Opening the way to real-life applications of this idea during the next data-taking campaign of the LHC.

研究动机与目标

• 在LHC的Level-1触发器中实现实时、无监督的异常检测，突破理论驱动选择方法的局限。
• 将基于自编码器的异常检测方法适配于L1T中资源受限的FPGA，满足1 μs延迟与150 ns启动间隔的约束。
• 通过剪枝、量化与架构优化降低模型复杂度，同时保持对稀有新物理信号的检测精度。
• 证明仅使用编码器进行潜在空间推理可避免昂贵的解码过程，显著降低FPGA资源消耗。
• 验证在LHC Run 3中于L1T部署（V）AE的可行性，实现与信号模型无关的数据采集。

提出的方法

• 利用hls4ml库将训练好的神经网络映射为FPGA固件，实现DNN和CNN自编码器的高层次综合。
• 应用量化感知训练（QAT）与训练后量化（PTQ），将精度从全精度降低至8位或4位，最大限度减少FPGA资源使用。
• 采用模型剪枝与冗余操作移除，进一步压缩网络架构，同时保持精度损失可忽略。
• 实现延迟优化的仅编码器推理策略，用于VAE，消除触发路径中解码计算与高斯采样需求。
• 使用潜在空间重构误差作为异常评分，实现无随机分量的确定性触发决策。
• 通过HLS C仿真与Vivado HLS验证设计，并最终在搭载Xilinx VCU118板卡（VU9P FPGA）的emp-fwk固件栈中完成集成。

实验结果

研究问题

• RQ1 基于自编码器的异常检测能否在LHC的Level-1触发器中实现亚微秒级延迟与极低的FPGA资源使用？
• RQ2 在L1T的资源与时序约束下，全连接与卷积自编码器架构的性能表现如何比较？
• RQ3 量化与剪枝在多大程度上可保持异常检测精度，同时减小模型尺寸以适配FPGA部署？
• RQ4 仅使用VAE架构中的编码器是否能显著降低资源消耗，同时不牺牲异常检测能力？
• RQ5 在L1T中仅使用VAE的编码器，是否可行实现新物理信号检测能力提升三个数量级？

主要发现

• DNN VAE在8位量化下实现80 ns延迟，仅使用Xilinx Virtex VU9P FPGA的1% DSP、3% LUT、0.5% FF与0.3% BRAM。
• CNN AE模型需8% DSP与47% LUT，超出实际资源预算，因此未纳入进一步部署。
• 仅编码器的VAE推理使延迟降低两倍，同时保持与完整VAE相当的异常检测性能。
• 除CNN AE外，所有模型均满足150 ns启动间隔要求，其中DNN VAE实现最低资源使用与最快延迟。
• DNN VAE模型已成功集成至emp-fwk固件栈，并在240 MHz频率下通过仿真与硬件测试验证。
• Xilinx V7-690 FPGA的资源估算显示，DNN VAE使用3% DSP、9% LUT、3% FF与0.4% BRAM，延迟为205 ns，证实其在当前CMS触发硬件中的可行性。