[论文解读] Explainable AI for High Energy Physics

M. S. Neubauer, A. Roy|arXiv (Cornell University)|Jun 14, 2022

Computational Physics and Python Applications被引用 9

一句话总结

本文倡导在高能物理（HEP）中整合可解释人工智能（xAI）方法，以提升深度神经网络在探测器模拟、粒子重建、部分子喷注建模和喷注分类等应用中的可解释性、信任度与优化能力。通过案例研究（如特征掩蔽和神经激活模式分析）表明，xAI揭示了模型仅依赖少数关键特征，从而实现模型简化，并在大型强子对撞机（LHC）应用中提升可靠性。

ABSTRACT

Neural Networks are ubiquitous in high energy physics research. However, these highly nonlinear parameterized functions are treated as extit{black boxes}- whose inner workings to convey information and build the desired input-output relationship are often intractable. Explainable AI (xAI) methods can be useful in determining a neural model's relationship with data toward making it extit{interpretable} by establishing a quantitative and tractable relationship between the input and the model's output. In this letter of interest, we explore the potential of using xAI methods in the context of problems in high energy physics.

研究动机与目标

• 解决高能物理（HEP）应用中所用深度神经网络缺乏可解释性的问题。
• 确立可解释人工智能（xAI）在实时触发系统和离线分析中部署机器学习模型时建立信任的必要性。
• 研究xAI技术如何揭示隐藏的模型依赖关系，并提升复杂高维HEP数据中模型的鲁棒性。
• 探索xAI与不确定性量化之间的协同作用，以在未来实验中实现更可靠的物理推断。
• 通过激活分析和特征重要性识别冗余特征与未充分利用的神经元，实现模型简化。

提出的方法

• 采用与模型无关的xAI技术（如特征掩蔽），评估单个输入特征对模型性能的影响（例如AUC-ROC的变化）。
• 应用逐层显著性传播（LRP）技术，追踪输入特征对粒子重建和喷注分类中模型预测的贡献。
• 使用神经激活模式（NAP）图可视化各层中相对激活强度，识别主导信息流的神经元。
• 分析生成模型（如GANs和VAEs）在探测器模拟中的应用，评估潜在空间保真度及模式崩溃风险。
• 通过结合硬件感知性能分析与xAI，评估部署在FPGA上的DNN在触发系统中的表现，确保可信推理。
• 将xAI与物理约束相结合，验证模型在部分子喷注和喷注重建任务中是否学习到正确的量子色动力学（QCD）动力学。

实验结果

研究问题

• RQ1 xAI方法如何揭示在喷注分类等HEP任务中，DNN预测所依赖的关键输入特征？
• RQ2 复杂DNN在多大程度上仅依赖于少数特征或神经元？这一现象能否通过激活模式进行量化？
• RQ3 xAI技术能否检测并诊断用于快速探测器模拟的生成模型中出现的模式崩溃问题？
• RQ4 模型可解释性在FPGA上实时触发系统中使用的DNN中如何影响决策信心？
• RQ5 xAI能否与不确定性量化结合，以提升未来高亮度LHC实验中基于机器学习的物理分析的可靠性？

主要发现

• 特征掩蔽实验表明，在喷注分类模型中掩蔽某些轨迹和次级顶点特征时，AUC-ROC变化极小，表明模型对这些输入依赖程度较低。
• 神经激活模式（NAP）图显示，每一层中仅有极少数神经元对信息传播有显著贡献，表明模型具有稀疏性，具备简化潜力。
• 如LRP等xAI方法成功识别出影响粒子流重建预测的关键输入特征，增强了模型透明度。
• 用于快速探测器模拟的生成模型（如GANs和VAEs）表现出已知局限性——模式崩溃与锐度损失，凸显在物理关键应用中进行xAI验证的必要性。
• 使用深度学习训练的基于部分子喷注数据的DNN已被证实学习到了底层QCD动力学，而xAI进一步证实了其预测保真度与物理一致性。
• 将xAI与基于FPGA的推理系统结合，可同步分析模型行为与硬件性能，从而增强对实时触发决策的信任。