[论文解读] A Refutation of Shapley Values for Explainability

Xuanxiang Huang, João Marques‐Silva|arXiv (Cornell University)|Sep 6, 2023

Explainable Artificial Intelligence (XAI)Computer Science被引用 3

一句话总结

本文通过证明：对于超过小阈值的任意特征数量，均存在布尔函数使得无关特征的Shapley值高于相关特征，从而反驳了在可解释AI中使用Shapley值进行特征归因的做法——表明Shapley值在基于规则的解释中可能系统性地错误表示特征重要性。

ABSTRACT

Recent work demonstrated the existence of Boolean functions for which Shapley values provide misleading information about the relative importance of features in rule-based explanations. Such misleading information was broadly categorized into a number of possible issues. Each of those issues relates with features being relevant or irrelevant for a prediction, and all are significant regarding the inadequacy of Shapley values for rule-based explainability. This earlier work devised a brute-force approach to identify Boolean functions, defined on small numbers of features, and also associated instances, which displayed such inadequacy-revealing issues, and so served as evidence to the inadequacy of Shapley values for rule-based explainability. However, an outstanding question is how frequently such inadequacy-revealing issues can occur for Boolean functions with arbitrary large numbers of features. It is plain that a brute-force approach would be unlikely to provide insights on how to tackle this question. This paper answers the above question by proving that, for any number of features, there exist Boolean functions that exhibit one or more inadequacy-revealing issues, thereby contributing decisive arguments against the use of Shapley values as the theoretical underpinning of feature-attribution methods in explainability.

研究动机与目标

• 调查在具有任意数量特征的布尔函数中，通过Shapley值导致的误导性特征重要性分配是常见还是罕见。
• 解决先前研究依赖小规模函数的暴力枚举方法所导致的局限性，该方法无法推广至更大特征集。
• 正式证明：对于超过小阈值的任意特征数量，Shapley值可能对相关与无关特征产生错误的相对重要性排序。
• 提供构造性证明，系统性地展示此类误导性示例的生成方法，而不仅限于经验观察。
• 通过展示其与基于规则模型中特征选择原则的根本不相容性，挑战Shapley值在可解释性中的理论基础。

提出的方法

• 构建一个包含 $ n $ 个变量的布尔函数族，其结构确保一个无关特征（例如 $ x_{n-1} $）的Shapley值高于一个相关特征（例如 $ x_n $）。
• 采用分层函数定义：$ \kappa(x_{1..m}, x_{n-1}, x_n) $，其中输出取决于 $ \kappa_1 $、$ \kappa_2 $ 和 $ \kappa_3 $，且 $ \kappa_3 $ 在目标点的汉明距离为2以内的范围内设为1。
• 应用Shapley值公式：$ \mathsf{Sv}(i) = \sum_{\mathcal{S} \subseteq \mathcal{F} \setminus \{i\}} \frac{|\mathcal{S}|!(m - |\mathcal{S}|)!}{(m+1)!} \left( \phi(\mathcal{S} \cup \{i\}) - \phi(\mathcal{S}) \right) $，重点关注大小为 $ m-4 $ 至 $ m+1 $ 的子集。
• 通过分析子集上的边际贡献，表明无关特征 $ x_{n-1} $ 的Shapley值高于相关特征 $ x_n $，尽管 $ x_n $ 对预测至关重要。
• 通过计算关键子集上贡献的总和，证明 $ \mathsf{Sv}(n-1) > \mathsf{Sv}(n) > 0 $，且该和为正。
• 证明此类反例对任意 $ m \geq 5 $ 均存在，且 $ \kappa_1 $ 有 $ 2^{2^{n-2} - (n-2) - 1} - 1 $ 种可能构造方式，确保此类函数数量庞大。

实验结果

研究问题

• RQ1 Shapley值是否可能在基于规则的模型中系统性地错误排序特征重要性，将更高的值分配给无关特征而非相关特征？
• RQ2 在具有任意数量特征的布尔函数中，此类误导性情况是罕见还是普遍存在的？
• RQ3 我们能否构造出具有任意多特征的显式布尔函数，使得Shapley值无法反映真实的特征相关性？
• RQ4 Shapley值在可解释性中表现不足是结构性缺陷，还是仅限于小规模、边缘情况的函数？
• RQ5 表现出此类误导行为的函数集合的规模有多大？其随特征数量的增加如何变化？

主要发现

• 对于任意特征数量 $ n > 3 $，均存在布尔函数使得无关特征的Shapley值高于相关特征。
• 本文明确构造了此类函数，证明该问题并非局限于小规模或罕见情况，而是在大 $ n $ 时具有普遍性。
• 通过子集贡献分析，证明无关特征 $ x_{n-1} $ 的Shapley值大于相关特征 $ x_n $，即 $ \mathsf{Sv}(n-1) > \mathsf{Sv}(n) > 0 $。
• 证明了在大小为 $ m-4 $ 至 $ m+1 $ 的子集上，$ x_n $ 的边际贡献总和为正，从而得出 $ \mathsf{Sv}(n) > 0 $，而 $ \mathsf{Sv}(n-1) $ 仍更大。
• 至少存在 $ 2^{2^{n-2} - (n-2) - 1} - 1 $ 个不同的函数使得此类错误排序发生，表明此类反例数量庞大。
• 结果对所有 $ m \geq 5 $ 成立，且构造方法确保该问题在任意特征数量下持续存在，从而削弱了Shapley值在可解释性中的一般适用性。