[论文解读] Explainable AI for ML jet taggers using expert variables and layerwise relevance propagation

Garvita Agarwal, L. Hay+6 more|arXiv (Cornell University)|Nov 26, 2020

Reservoir Engineering and Simulation Methods参考文献 61被引用 18

一句话总结

该论文提出了一种新颖的可解释人工智能（XAI）框架，通过整合专家变量（XAUG）并应用逐层显著性传播（LRP），提升了深度神经网络（DNN）喷注分类器的性能。通过将XAUG变量拼接至网络中间层，该方法使分类性能提升达30–40%，并实现了可解释的特征重要性排序。关键结果表明，在简单情况下，仅使用XAUG变量即可捕捉分类器行为；而与低层次特征联合使用时，可实现最优判别效果，尤其在具有真实粒子级模型的场景中，AUC值超过0.99。

ABSTRACT

A framework is presented to extract and understand decision-making information from a deep neural network (DNN) classifier of jet substructure tagging techniques. The general method studied is to provide expert variables that augment inputs ("eXpert AUGmented" variables, or XAUG variables), then apply layerwise relevance propagation (LRP) to networks both with and without XAUG variables. The XAUG variables are concatenated with the intermediate layers after network-specific operations (such as convolution or recurrence), and used in the final layers of the network. The results of comparing networks with and without the addition of XAUG variables show that XAUG variables can be used to interpret classifier behavior, increase discrimination ability when combined with low-level features, and in some cases capture the behavior of the classifier completely. The LRP technique can be used to find relevant information the network is using, and when combined with the XAUG variables, can be used to rank features, allowing one to find a reduced set of features that capture part of the network performance. In the studies presented, adding XAUG variables to low-level DNNs increased the efficiency of classifiers by as much as 30-40\%. In addition to performance improvements, an approach to quantify numerical uncertainties in the training of these DNNs is presented.

研究动机与目标

• 开发一种用于高能物理（HEP）中深度学习喷注分类器的可解释人工智能框架，以解决模型决策过程常不透明的问题。
• 通过将专家导出的变量（XAUG）与低层次DNN特征结合，提升分类性能。
• 利用逐层显著性传播（LRP）实现DNN决策的可解释性，以对特征重要性进行排序。
• 通过多次训练运行的集成平均，量化DNN训练中的数值不确定性。
• 证明XAUG变量能够捕捉或引导分类器行为，从而减少对复杂低层次特征的依赖。

提出的方法

• 在卷积或循环网络层之后，通过拼接方式将专家变量（XAUG）添加至DNN输入。
• 应用逐层显著性传播（LRP）对最终预测分数进行分解，并将显著性归因于输入特征和XAUG变量。
• 使用归一化的显著性分数对特征进行排序，识别最具影响力的特征，实现降维。
• 使用不同随机种子训练多个DNN实例，并对预测结果进行平均，以估计数值不确定性。
• 在模拟喷注数据（Z→bb vs. QCD）上，采用2D CNN、1D CNN和1D RNN评估性能与可解释性。
• 使用每事件20个粒子的粒子级模拟，以及17个XAUG变量（如喷注质量、去胶、寿命、影响参数等），测试其在真实世界中的适用性。

实验结果

研究问题

• RQ1 在简化模型中，仅使用XAUG变量能否完全复现复杂DNN喷注分类器的决策过程？
• RQ2 在真实喷注子结构任务中，将XAUG变量与低层次特征结合，对分类性能有何影响？
• RQ3 LRP与XAUG变量在多大程度上能够识别并排序出驱动DNN决策的最关键特征？
• RQ4 LRP生成的显著性分数能否用于构建一个最小但高性能的喷注分类特征集？
• RQ5 如何通过集成训练与LRP分析，量化并管理DNN训练中的数值不确定性？

主要发现

• 在粒子级模型中，向低层次DNN添加XAUG变量使分类器效率提升30–40%，AUC显著提高至0.994–0.995。
• 在玩具模型中，仅使用XAUG变量即可完全捕捉DNN的决策行为，表明仅依赖专家变量的多层感知机即可复现网络行为。
• 在真实粒子级模型中，XAUG变量与低层次特征联合使用达到最优性能，2D CNN的AUC超过0.99，RNN的AUC达0.975。
• 通过LRP显著性排序的前5个XAUG变量，几乎捕获了全部完整特征集的判别能力，实现了有效的特征降维。
• LRP显示，在粒子级模型中，图像输入（低层次特征）的显著性高于任一单个XAUG变量，但前几名XAUG变量的显著性总和超过图像输入，表明其集体重要性。
• 多次训练运行显示，低显著性特征的依赖性存在差异，表明通过多轮预测平均可提供一种稳健的DNN训练数值不确定性估计方法。