[论文解读] Causal Shapley Values: Exploiting Causal Knowledge to Explain Individual Predictions of Complex Models

Tom Heskes, Evi Sijben+2 more|arXiv (Cornell University)|Nov 3, 2020

Explainable Artificial Intelligence (XAI)参考文献 6被引用 31

一句话总结

本文提出 causal Shapley 值，结合输入特征之间的因果关系来解释单个模型预测，并使用 Pearl’s do-calculus 和因果链图将效应分解为直接部分和间接部分。

ABSTRACT

Shapley values underlie one of the most popular model-agnostic methods within explainable artificial intelligence. These values are designed to attribute the difference between a model's prediction and an average baseline to the different features used as input to the model. Being based on solid game-theoretic principles, Shapley values uniquely satisfy several desirable properties, which is why they are increasingly used to explain the predictions of possibly complex and highly non-linear machine learning models. Shapley values are well calibrated to a user's intuition when features are independent, but may lead to undesirable, counterintuitive explanations when the independence assumption is violated. In this paper, we propose a novel framework for computing Shapley values that generalizes recent work that aims to circumvent the independence assumption. By employing Pearl's do-calculus, we show how these 'causal' Shapley values can be derived for general causal graphs without sacrificing any of their desirable properties. Moreover, causal Shapley values enable us to separate the contribution of direct and indirect effects. We provide a practical implementation for computing causal Shapley values based on causal chain graphs when only partial information is available and illustrate their utility on a real-world example.

研究动机与目标

• 促使人们需要尊重特征之间因果关系的解释，而不是假设独立性。
• 将 Shapley 值解释泛化以考虑数据生成过程的因果结构。
• 提供一个实用框架，从部分因果排序中计算 causal Shapley 值。
• 将特征贡献分解为直接效应和间接效应，以提高可解释性。

提出的方法

• 将 causal Shapley 值定义为尊重因果关系的贡献，并使用 do-calculus 进行干预期望。
• 使用 causal chain graphs 表示依赖关系，以处理部分排序和混杂。
• 通过基于置换的聚合将每个特征的 Shapley 贡献分解为直接效应和间接效应。
• 为 chain graphs 提供干预–观察等价定理，以实现实际计算。
• 将因果 Shapley 值与边际 Shapley 值和条件 Shapley 值进行比较，强调对因果结构的鲁棒性。

实验结果

研究问题

• RQ1 如何计算 Shapley 值以反映输入特征之间的因果关系？
• RQ2 因果 Shapley 值是否能够将特征对模型预测的直接效应和间接效应分离？
• RQ3 哪种实用框架能够在部分因果信息下计算 causal Shapley 值？
• RQ4 在不同因果结构下，因果 Shapley 值与边际 Shapley 值和条件 Shapley 值有何比较？
• RQ5 在现实数据中使用基于 do-calculus 的条件化对解释有什么影响？

主要发现

• 因果 Shapley 值考虑因果关系，并将总效应分解为直接效应和间接效应。
• 它们保持效率性、线性性和无效者性质，并在适当条件下恢复标准 Shapley 性质。
• 使用 causal chain graphs，该方法提供了一种在部分因果排序下计算解释的实用方式。
• 因果 Shapley 值能够区分 chain、fork、confounder 和 cycle 结构，产生不同的归因模式。
• 该方法可以通过对干预分布进行采样来实现，并可扩展到现有的 Shapley 值计算工具。