[论文解读] Shapley Flow: A Graph-based Approach to Interpreting Model Predictions

Jiaxuan Wang, Jenna Wiens+1 more|arXiv (Cornell University)|Oct 27, 2020

Explainable Artificial Intelligence (XAI)参考文献 33被引用 29

一句话总结

Shapley Flow 提出了一种基于图的新方法，用于解释机器学习模型的预测结果，通过将特征重要性分配给因果图中的边而非节点，从而统一、公理化地捕捉直接和间接效应。该方法将 Shapley 值推广至有向无环图，提供唯一解，保持与因果结构的一致性，并解决了 SHAP 和 ASV 等先前方法的局限性。

ABSTRACT

Many existing approaches for estimating feature importance are problematic because they ignore or hide dependencies among features. A causal graph, which encodes the relationships among input variables, can aid in assigning feature importance. However, current approaches that assign credit to nodes in the causal graph fail to explain the entire graph. In light of these limitations, we propose Shapley Flow, a novel approach to interpreting machine learning models. It considers the entire causal graph, and assigns credit to extit{edges} instead of treating nodes as the fundamental unit of credit assignment. Shapley Flow is the unique solution to a generalization of the Shapley value axioms to directed acyclic graphs. We demonstrate the benefit of using Shapley Flow to reason about the impact of a model's input on its output. In addition to maintaining insights from existing approaches, Shapley Flow extends the flat, set-based, view prevalent in game theory based explanation methods to a deeper, extit{graph-based}, view. This graph-based view enables users to understand the flow of importance through a system, and reason about potential interventions.

研究动机与目标

• 解决现有特征归因方法忽略或错误归因特征间相关性导致的间接效应的问题。
• 在单一基于图的框架下统一现有的博弈论特征重要性方法。
• 通过在因果图中对边而非节点进行信用分配，提供模型预测的完整系统级视图。
• 通过尊重特征扰动中的因果顺序，确保解释的边界一致性和因果保真度。
• 解决由流形内扰动和任意特征顺序引起的归因不一致性。

提出的方法

• 将特征归因重新定义为在有向无环因果图的边上进行信用分配，而非在节点上。
• 将 Shapley 值公理推广至图结构，定义边基信用分配的唯一解。
• 采用载体博弈公式来建模消息传递历史，确保不同解释边界间的一致性。
• 应用线性与效率公理，计算反映直接与间接影响的边归因。
• 引入边界感知公式，将历史限制在与图中给定切割一致的范围内，避免不一致性。
• 采用递归计算策略，利用广义 Shapley 值在边集上高效计算归因。

实验结果

研究问题

• RQ1 如何将 Shapley 值框架扩展至具有因果依赖的系统，以实现一致且全面的特征归因？
• RQ2 为何现有基于节点的归因方法无法在因果图中捕捉直接与间接效应？
• RQ3 能否开发一个统一框架，在保持 Shapley 值公理性质的同时作用于图结构？
• RQ4 与基于节点的归因相比，基于边的归因在真实世界因果系统中如何提升可解释性？
• RQ5 忽略因果结构在特征归因中的后果是什么？Shapley Flow 如何缓解这些问题？

主要发现

• Shapley Flow 唯一满足有向无环图上的广义 Shapley 公理，确保对边的信用分配具有一致性和公平性。
• 在洒水器示例中，Shapley Flow 正确地将信用分配给上游（季节）和下游（洒水器、路面）变量，而 ASV 忽视了下游效应。
• 在营养数据集上，Shapley Flow 为收缩压分配了正向归因，而 ASV 分配为零，表明其能捕捉直接因果影响。
• 流形内 SHAP 由于非因果扰动顺序导致年龄归因符号反转，而 Shapley Flow 通过尊重因果结构避免了这一问题。
• 当考虑所有可能的历史时，边界不一致性会出现；Shapley Flow 通过将历史限制在与给定解释边界一致的范围内避免了此问题。
• Shapley Flow 允许用户追踪重要性在系统中的流动，支持对潜在干预和因果路径的推理。