[论文解读] Explaining Explanations: Axiomatic Feature Interactions for Deep Networks

Joseph D. Janizek, Pascal Sturmfels+1 more|arXiv (Cornell University)|Feb 10, 2020

Explainable Artificial Intelligence (XAI)被引用 49

一句话总结

本论文提出 Integrated Hessians，是对 Integrated Gradients 的扩展，用于解释神经网络中的成对特征交互，适用于任意架构，具有公理性与对 ReLU 网络的平滑处理，并显示在交互检测方面优于现有方法。

ABSTRACT

Recent work has shown great promise in explaining neural network behavior. In particular, feature attribution methods explain which features were most important to a model's prediction on a given input. However, for many tasks, simply knowing which features were important to a model's prediction may not provide enough insight to understand model behavior. The interactions between features within the model may better help us understand not only the model, but also why certain features are more important than others. In this work, we present Integrated Hessians, an extension of Integrated Gradients that explains pairwise feature interactions in neural networks. Integrated Hessians overcomes several theoretical limitations of previous methods to explain interactions, and unlike such previous methods is not limited to a specific architecture or class of neural network. Additionally, we find that our method is faster than existing methods when the number of features is large, and outperforms previous methods on existing quantitative benchmarks. Code available at https://github.com/suinleelab/path_explain

研究动机与目标

• 激发特征之间的交互如何深化对神经网络行为理解的动机，超越对单个特征归因的理解。
• 提出一种通用的、公理化的方法来量化神经网络中的成对特征交互。
• 提供一种通过平滑处理在不重新训练的前提下计算基于 ReLU 的网络中的交互的有原理的方法。
• 将该方法与现有交互解释进行比较评估，并演示在各领域的实际收益。

提出的方法

• 将 Γi,j(x) 定义为特征 i 相对于特征 j 的重要性交互解释，通过对归因函数应用 Integrated Gradients 来实现。
• 通过沿从基线到 x 的路径，对 f 的二阶偏导数进行双重积分来推导 Γi,j(x)。
• 提出并讨论公理，如交互完备性、自我完备性，以及交互对称性。
• 通过用 SoftPlus 平滑激活来处理 ReLU 网络，以使二阶导数可用，并给出理论与近似的实践指导。
• 对多个基线取平均，以解决 Integrated Gradients 中基线选择的问题。
• 提供理论结果和实证证据，表明平滑处理在不重新训练的情况下也有助于计算和解释。

实验结果

研究问题

• RQ1 是否可以将 Integrated Gradients 扩展为量化神经网络中成对特征交互的方法？
• RQ2 所提出的交互值是否满足与归因方法类似的常识性公理，如完备性和对称性？
• RQ3 与现有交互方法相比，Integrated Hessians 在识别真实交互方面的表现如何？
• RQ4 是否可以通过平滑激活在不重新训练的情况下将该方法应用于基于 ReLU 的网络，并且有哪些实际收益？
• RQ5 在现实领域任务如 NLP 和药物反应预测中，交互解释的实际收益是什么？

主要发现

• Integrated Hessians 提供了一种有原理、架构无关的量化神经网络成对特征交互的方法。
• 该方法满足交互完备性、自我完备性和交互对称性等公理。
• 用 SoftPlus 替代 ReLU 使得基于二阶导数的交互计算在无需重新训练的情况下可用，并具有有利的近似性质。
• 实证评估表明，在模拟数据和合理性检验中，Integrated Hessians 在识别重要交互方面优于现有方法。
• 在 NLP 和药物组合数据中的应用表明，交互揭示了仅凭一阶归因看不到的模式。