[论文解读] A Detailed Study of Interpretability of Deep Neural Network based Top Taggers

Ayush Khot, M. S. Neubauer+1 more|arXiv (Cornell University)|Oct 9, 2022

Explainable Artificial Intelligence (XAI)被引用 4

一句话总结

本文对高能物理中基于深度神经网络的顶夸克喷流分类器的可解释性进行了全面分析，评估了多种可解释性AI（XAI）方法，以识别喷流分类中的关键特征和潜在表征。研究揭示了现有可解释性技术的局限性，提出了基于物理启发特征工程的粒子流交互网络（PFIN）模型，并通过可解释性驱动的模型增强实现了性能提升，显著增强了DNN在大型强子对撞机（LHC）顶夸克喷流识别中的鲁棒性与清晰度。

ABSTRACT

Recent developments in the methods of explainable AI (XAI) allow researchers to explore the inner workings of deep neural networks (DNNs), revealing crucial information about input-output relationships and realizing how data connects with machine learning models. In this paper we explore interpretability of DNN models designed to identify jets coming from top quark decay in high energy proton-proton collisions at the Large Hadron Collider (LHC). We review a subset of existing top tagger models and explore different quantitative methods to identify which features play the most important roles in identifying the top jets. We also investigate how and why feature importance varies across different XAI metrics, how correlations among features impact their explainability, and how latent space representations encode information as well as correlate with physically meaningful quantities. Our studies uncover some major pitfalls of existing XAI methods and illustrate how they can be overcome to obtain consistent and meaningful interpretation of these models. We additionally illustrate the activity of hidden layers as Neural Activation Pattern (NAP) diagrams and demonstrate how they can be used to understand how DNNs relay information across the layers and how this understanding can help to make such models significantly simpler by allowing effective model reoptimization and hyperparameter tuning. These studies not only facilitate a methodological approach to interpreting models but also unveil new insights about what these models learn. Incorporating these observations into augmented model design, we propose the Particle Flow Interaction Network (PFIN) model and demonstrate how interpretability-inspired model augmentation can improve top tagging performance.

研究动机与目标

• 研究高能物理中用于LHC顶夸克喷流识别的基于深度神经网络的顶夸克分类器的可解释性。
• 评估并比较多种XAI方法在识别最具影响力的输入特征及其在模型预测中作用方面的表现。
• 分析特征相关性与潜在空间表征对模型可解释性与性能的影响。
• 识别现有XAI技术中的陷阱，并提出一致、有意义地解释粒子物理中DNN的解决方案。
• 开发并验证一种新型模型架构——粒子流交互网络（PFIN），通过可解释性驱动的设计提升顶夸克分类的准确率与模型简洁性。

提出的方法

• 本研究评估了部分现有顶夸克分类器模型，重点分析其在多种XAI度量（如积分梯度、显著性图与基于激活的方法）下的特征重要性。
• 引入神经激活模式（NAP）图以可视化信息在隐藏层之间的流动，支持分析特征如何在网络中传播与变换。
• 作者设计了粒子流交互网络（PFIN），通过在喷流组分之间引入物理启发的边特征（ΔR、kT、z与m²）以增强可解释性与模型性能。
• PFIN使用可学习的变换网络（ΦI,2）嵌入粒子-粒子相互作用，并将其与原始粒子特征拼接，随后聚合为喷流级别的潜在表征。
• 该模型采用最终分类器网络（F），基于聚合后的喷流级别特征预测喷流类别概率，确保排列不变性与物理一致性。
• 研究使用合成与真实LHC喷流数据集验证XAI方法并评估模型性能，将PFIN与基线DNN进行比较。

实验结果

研究问题

• RQ1 不同XAI度量在识别顶喷流分类中最重要特征方面表现如何？为何它们会产生不一致的结果？
• RQ2 喷流组分之间的相关性在多大程度上影响DNN中特征重要性评分的可靠性与一致性？
• RQ3 DNN中的潜在空间表征在多大程度上编码了如喷流子结构或部分子喷注历史等物理上有意义的量？
• RQ4 可解释性驱动的模型设计能否带来性能提升与更简洁的架构？
• RQ5 如何利用神经激活模式（NAP）图指导模型重新优化与超参数调优？

主要发现

• 不同XAI方法产生不一致的特征重要性排序，表明模型无关方法可能因特征相关性与梯度饱和而产生误导。
• 高度相关的特征常导致虚假的重要程度评分，本研究识别出如积分梯度与显著性图等主流XAI技术中的特定失效模式。
• DNN中的潜在空间表征与喷流质量、子结构等物理上有意义的量存在强相关性，验证了其可解释性。
• PFIN模型通过引入物理启发的交互特征（ΔR、kT、z、m²），在性能上优于基线DNN，证明可解释性驱动设计能同时提升准确率与鲁棒性。
• NAP图有效揭示了信息在各层之间的流动，支持针对性的重新优化与超参数调优，可在保持或提升性能的同时简化模型。
• 本研究证明，通过引入物理启发的交互嵌入来增强输入特征，可使DNN更加稳定与可解释，减少对黑箱行为的依赖。