[论文解读] Neural Network Attributions: A Causal Perspective

Aditya Chattopadhyay, Piyushi Manupriya+2 more|arXiv (Cornell University)|Feb 6, 2019

Explainable Artificial Intelligence (XAI)参考文献 34被引用 32

一句话总结

该论文通过将网络建模为结构因果模型并计算输入神经元对输出的平均因果效应，提出一种神经网络的因果归因方法，该方法可扩展到高维并适用于 RNN。

ABSTRACT

We propose a new attribution method for neural networks developed using first principles of causality (to the best of our knowledge, the first such). The neural network architecture is viewed as a Structural Causal Model, and a methodology to compute the causal effect of each feature on the output is presented. With reasonable assumptions on the causal structure of the input data, we propose algorithms to efficiently compute the causal effects, as well as scale the approach to data with large dimensionality. We also show how this method can be used for recurrent neural networks. We report experimental results on both simulated and real datasets showcasing the promise and usefulness of the proposed algorithm.

研究动机与目标

• 为神经网络预测提供可解释、因果基础的解释。
• 将神经网络建模为 Structural Causal Models (SCMs)，以定义和计算因果归因。
• 在高维设定下开发可扩展的算法来估计干预期望和 ACE。
• 将该方法扩展到循环结构，并解决实际计算问题。

提出的方法

• 将前馈网络表示为 SCMs，并对隐藏层进行边缘化，以获得一个简化的因果模型。
• 使用 do-操作定义输入神经元对输出神经元的 Average Causal Effect (ACE)。
• 通过围绕干预均值和干预协方差进行 Taylor 展开，计算干预期望 E[y|do(x_i=α)]。
• 引入因果回归器（通过贝叶斯线性回归学习的多项式函数）以高效估计干预期望。
• 提供 Phase I（计算干预期望）和 Phase II（学习因果回归器和基线）工作流。
• 讨论扩展到 RNNs，使用时展开的 SCMs 并处理跨时间步的依赖关系。

实验结果

研究问题

• RQ1 在神经网络中，特定输入神经元对特定输出神经元的因果效应是多少？
• RQ2 在高维神经网络中，如何计算和近似干预期望和 ACE？
• RQ3 这个因果归因框架可以扩展到循环结构吗？
• RQ4 在偏差和鲁棒性方面，因果归因与基于梯度或扰动的方法相比有何差异？

主要发现

• 提出了一种基于 SCMs 和 ACE 的有原则的因果归因方法，该方法对其他输入进行边缘化，以避免来自特征间相关性的偏差。
• 展示了如何使用 Taylor 展开和干预协方差来计算干预期望，从而实现可扩展的 ACE 估计。
• 引入因果回归器以实时估计 ACE，降低计算成本。
• 将该方法扩展到 Recurrent Neural Networks，并给出相应的边缘化考虑。
• 在 Iris、模拟数据和飞机轨迹数据上的实证结果展示了该方法在某些情形下相对于梯度基基线的有效性和优势。