[论文解读] Explainability is NOT a Game

João Marques‐Silva, Xuanxiang Huang|arXiv (Cornell University)|Jun 27, 2023

Explainable Artificial Intelligence (XAI)被引用 5

一句话总结

本文表明，广泛用于可解释人工智能（XAI）中特征重要性的Shapley值可能错误地归因相关性，导致将更高重要性分配给无关特征，更低重要性分配给相关特征，因此在高风险领域中用于可靠模型解释时存在根本性缺陷。作者通过形式化分析和对布尔分类器的实证评估，识别出系统性缺陷，发现这些问题在超过55%的函数中出现，严重削弱了对SHAP等工具的信任。

ABSTRACT

Explainable artificial intelligence (XAI) aims to help human decision-makers in understanding complex machine learning (ML) models. One of the hallmarks of XAI are measures of relative feature importance, which are theoretically justified through the use of Shapley values. This paper builds on recent work and offers a simple argument for why Shapley values can provide misleading measures of relative feature importance, by assigning more importance to features that are irrelevant for a prediction, and assigning less importance to features that are relevant for a prediction. The significance of these results is that they effectively challenge the many proposed uses of measures of relative feature importance in a fast-growing range of high-stakes application domains.

研究动机与目标

• 挑战Shapley值作为可解释人工智能（XAI）中相对特征重要性度量的可靠性。
• 识别并形式化证明在机器学习模型特征归因中应用Shapley值时存在的系统性缺陷。
• 表明这些缺陷会导致误导性解释，即无关特征被判定比相关特征更重要。
• 主张依赖Shapley值的现有XAI工具（如SHAP）无法保证严谨或可信的解释。
• 推动开发基于逻辑上严谨的替代度量方法，以尊重特征的（非）相关性。

提出的方法

• 作者使用基于逻辑的溯因法形式化定义特征（非）相关性，将相关性定义为特征在解释预测中的必要性。
• 在确定性可分解布尔电路的背景下分析Shapley值，实现精确计算并与近似方法进行比较。
• 对包含最多5个特征的所有布尔函数进行系统枚举，以评估Shapley归因中缺陷的频率和性质。
• 研究识别出七种不同缺陷（I1–I7），表现为Shapley值未能反映真实特征相关性，包括为相关特征分配零值或为无关特征分配非零值。
• 将精确Shapley值与SHAP生成的值进行比较，发现实证结果之间相关性极低。
• 作者认为核心缺陷在于将所有特征子集视为有效联盟，而在可解释性中，仅应考虑在逻辑上一致或相关的子集。

实验结果

研究问题

• RQ1 Shapley值能否可靠地衡量机器学习模型中的相对特征重要性？
• RQ2 Shapley值是否系统性地错误归因重要性，倾向于将重要性赋予无关特征而非相关特征？
• RQ3 此类缺陷在XAI中实际使用的布尔分类器中发生的频率如何？
• RQ4 近似工具如SHAP在多大程度上反映精确Shapley值？尽管存在固有缺陷，它们是否仍可信赖？
• RQ5 能否设计出一种基于逻辑的Shapley值替代方法，以尊重特征的（非）相关性？

主要发现

• Shapley值可能为在预测中逻辑上无关的特征分配非零重要性，导致误导性解释。
• 相反，Shapley值可能为对预测至关重要的特征分配零重要性，导致关键特征被忽略。
• I1、I2和I6缺陷在超过55%的布尔函数中出现，其中I1（为相关特征分配零值）在超过99%的案例中发生。
• 研究发现精确Shapley值与SHAP生成的近似值之间相关性极低，表明SHAP的结果并未可靠地与理论基础对齐。
• 根本缺陷在于Shapley值将所有特征子集视为有效联盟，但在可解释性中，仅应考虑在逻辑上一致或相关的子集。
• 作者得出结论：任何基于Shapley值的XAI工具在高风险应用中本质上不可靠，因其无法保证正确的特征归因。