[论文解读] Feature relevance quantification in explainable AI: A causal problem
本文主张特征相关性应使用干预（do 运算符）边际而非观测条件来量化，并分析Shapley值在这些选择下的表现，批评SHAP将条件期望作为近似的方法。
We discuss promising recent contributions on quantifying feature relevance using Shapley values, where we observed some confusion on which probability distribution is the right one for dropped features. We argue that the confusion is based on not carefully distinguishing between observational and interventional conditional probabilities and try a clarification based on Pearl's seminal work on causality. We conclude that unconditional rather than conditional expectations provide the right notion of dropping features in contradiction to the theoretical justification of the software package SHAP. Parts of SHAP are unaffected because unconditional expectations (which we argue to be conceptually right) are used as approximation for the conditional ones, which encouraged others to `improve' SHAP in a way that we believe to be flawed.
研究动机与目标
- 澄清在将模型输出归因于输入时，删减特征时应使用哪种概率分布。
- 区分在特征归因中使用的观测条件概率与干预条件概率。
- 评估相对总体均值，使用边际期望与条件期望进行归因时Shapley值的表现。
- 评估使用干预期望是否能解决归因中的非敏感性和对称性等问题。
- 提供关于SHAP框架与因果观点关系的指导，以及其仍然有效的方面。
提出的方法
- 回顾在固定基线下的特征归因的公理基础，包括积分梯度和Shapley值。
- 定义两个候选的简化函数 f_T： (i) 给定 X_T=x_T 的条件期望，(ii) 边际期望，并讨论它们对归因的含义。
- 使用Pearl 的 do 演算来证明当对 X_T 进行归因时，干预（do）期望等同于边际期望。
- 给出一个因果图并解释在 X_T 上的干预如何打破某些依赖关系，从而证明边际期望是删减特征的正确概念。
- 证明使用条件期望可能导致无意义的归因（例如对无关特征也给出非零归因）。
- 描述 KernelSHAP 如何通过加权最小二乘法估算Shapley值，以及在实践中如何近似 g(T)（边际与条件）。
实验结果
研究问题
- RQ1在将模型输出归因于输入时，删减特征的正确概率概念是什么？
- RQ2观测条件概率还是干预（do）概率在归因中更好地捕捉特征相关性？
- RQ3当归因相对于边际期望与条件期望来定义时，Shapley值的行为如何？
- RQ4干预推理能否解决归因框架中的错误敏感性和对称性违背等问题？
- RQ5SHAP 如何与因果视角相关，以及在概念上哪些方面是合理的、哪些方面存在缺陷？
主要发现
- 边际（干预）期望与 do 操作一致，并在概念上正确地将差异归因于特征。
- 使用条件期望可能对无关特征产生非零归因，违反直觉的敏感性。
- SHAP 的基于核的近似在近似边际期望时基本不受影响，但依赖条件期望的做法在概念上是有缺陷。
- 实证仿真表明基于边际的 Shapley 值在高斯分布和真实数据情境中更好地匹配真实贡献。
- 本文阐明某些 SHAP 组成部分是可接受的近似，而其他部分需要修订以反映因果干预。
- 非因果或纯观察性归因由于混杂和特征分布之间的相关性存在风险，可能错误地表示特征影响。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。