[论文解读] High-Precision Regressors for Particle Physics

Fady Bishara, Ayan Paul+1 more|arXiv (Cornell University)|Jan 1, 2023

Distributed and Parallel Computing Systems被引用 2

一句话总结

本文开发了高精度的机器学习回归器——具体为提升决策树（BDTs）、全连接深度神经网络（DNNs）以及跳跃连接DNNs（sk-DNNs），以加速粒子物理中的蒙特卡洛模拟。通过利用物理启发的归一化、对称性简化和架构优化，作者在输入域的90%范围内实现了相对误差低于1%的亚毫秒级推理，相较于第一性原理计算，将模拟时间减少了10³–10⁶倍。

ABSTRACT

Monte Carlo simulations of physics processes at particle colliders like the Large Hadron Collider at CERN take up a major fraction of the computational budget. For some simulations, a single data point takes seconds, minutes, or even hours to compute from first principles. Since the necessary number of data points per simulation is on the order of $10^9$–$10^{12}$, machine learning regressors can be used in place of physics simulators to significantly reduce this computational burden. However, this task requires high-precision regressors that can deliver data with relative errors of less than 1% or even 0.1% over the entire domain of the function. In this paper, we develop optimal training strategies and tune various machine learning regressors to satisfy the high-precision requirement. We leverage symmetry arguments from particle physics to optimize the performance of the regressors. Inspired by ResNets, we design a Deep Neural Network with skip connections that outperform fully connected Deep Neural Networks. We find that at lower dimensions, boosted decision trees far outperform neural networks while at higher dimensions neural networks perform significantly better. We show that these regressors can speed up simulations by a factor of $10^3$–$10^6$ over the first-principles computations currently used in Monte Carlo simulations. Additionally, using symmetry arguments derived from particle physics, we reduce the number of regressors necessary for each simulation by an order of magnitude. Our work can significantly reduce the training and storage burden of Monte Carlo simulations at current and future collider experiments.

研究动机与目标

• 为减轻粒子物理中蒙特卡洛模拟的计算负担，目前每个数据点需耗时数秒至数小时。
• 开发机器学习回归器，实现在输入域90%范围内的高精度预测，相对误差低于1%（甚至低至0.1%）。
• 利用领域特定的物理知识（包括对称性简化和归一化）优化模型架构、训练策略和数据表示。
• 构建轻量化、可移植的回归器（磁盘占用仅数MB），适用于集成到实时模拟流水线中。
• 通过用高效机器学习代理模型替代昂贵的第一性原理计算，显著降低高能物理模拟的碳足迹。

提出的方法

• 在对撞机中散射振幅的第一性原理计算生成的高能物理模拟数据上训练回归器。
• 对输入特征应用物理启发的归一化，以提升泛化能力和收敛性。
• 利用粒子物理中的对称性论证，将所需回归器数量减少一个数量级。
• 设计一种受ResNets启发的跳跃连接深度神经网络（sk-DNN），以改善训练动态和性能。
• 在二维、四维和八维输入空间中对比BDTs、DNNs和sk-DNNs的性能，以确定各维度下的最优架构。
• 采用多阶段训练策略，结合学习率调度和早停法，以实现高精度回归。

实验结果

研究问题

• RQ1 在需要子1%误差的高维粒子物理振幅回归任务中，BDTs、DNNs和sk-DNNs在精度和效率方面如何比较？
• RQ2 物理启发的归一化与对称性简化是否能显著减少所需回归器数量，同时不损害预测精度？
• RQ3 在高精度回归任务中，具有跳跃连接的DNN在何种维度下优于BDTs和全连接DNN？
• RQ4 在四维和八维函数中，实现90%输入域内<1%误差所需的最小模型复杂度是多少？
• RQ5 是否可在标准硬件上训练轻量化、可移植的回归器，并将其部署于实时蒙特卡洛模拟中？

主要发现

• 在二维和四维输入维度下，BDTs优于DNNs，在90%输入域内实现子1%误差，但在八维问题中无法保持精度。
• 在八维问题中，sk-DNNs优于BDTs和全连接DNNs，在显著更少参数下实现90%输入域内<1%误差。
• sk-DNNs在性能上可与更大规模DNNs媲美甚至超越，表明架构改进可超越单纯增加参数量的效果。
• 利用物理对称性使所需回归器数量减少一个数量级，降低了存储和训练开销。
• 所有提出的回归器均实现每个数据点的推理时间低于10⁻⁴秒，相较于第一性原理模拟实现10³–10⁶倍加速。
• 整个流程（包括数据生成和模型训练）可在单块GPU的标准桌面硬件上完成，确保了可移植性和低能耗。