[论文解读] X-SHAP: towards multiplicative explainability of Machine Learning

Luisa Bouneder, Yannick Léo+1 more|arXiv (Cornell University)|Jun 8, 2020

Explainable Artificial Intelligence (XAI)参考文献 21被引用 5

一句话总结

X-SHAP 提出了一种模型无关的方法，通过乘法特征贡献来解释机器学习预测结果，将 SHAP 的加法框架扩展至捕捉乘法交互作用。该方法在真实世界数据集上提供了理论和实证验证，证明其与领域直觉一致，并在保险和生物医学等存在固有乘法关系的领域中展现出更优的可解释性。

ABSTRACT

This paper introduces X-SHAP, a model-agnostic method that assesses multiplicative contributions of variables for both local and global predictions. This method theoretically and operationally extends the so-called additive SHAP approach. It proves useful underlying multiplicative interactions of factors, typically arising in sectors where Generalized Linear Models are traditionally used, such as in insurance or biology. We test the method on various datasets and propose a set of techniques based on individual X-SHAP contributions to build aggregated multiplicative contributions and to capture multiplicative feature importance, that we compare to traditional techniques.

研究动机与目标

• 为解决机器学习中缺乏乘法可解释性方法的问题，特别是在乘法关系为标准形式的领域（如保险和流行病学中的广义线性模型）。
• 基于合作博弈论原理，将加法 SHAP 框架扩展为模型无关的乘法贡献。
• 开发一个工具箱，用于将局部乘法贡献聚合为全局和分段解释（例如，特征重要性、部分依赖关系）。
• 通过实证验证 X-SHAP 与领域知识的一致性，以及其在捕捉真实底层乘法结构方面相对于加法方法的优越性。

提出的方法

• X-SHAP 通过合作博弈论中的乘法 Shapley 值扩展，形式化了乘法贡献，为每个特征分配其对预测结果的乘法贡献。
• 提出一种多项式时间近似算法，以计算局部乘法贡献，确保可扩展性和模型无关性。
• 在部分依赖图中使用几何平均进行平均，相比算术平均，对异常值的敏感性更低。
• 通过在样本间聚合个体乘法贡献，计算全局特征重要性和分段解释（例如，按年龄组或特征值分箱）。
• 通过与 Kernel SHAP（加法）和基于模型的内在特征重要性（如随机森林）进行比较，对方法进行验证，使用平均绝对贡献和部分依赖等指标。
• X-SHAP 使用基线值 $\phi^0$，并定义乘法分解：$\phi^0 \cdot \prod_{j=1}^{m} \phi_j^j = f(x)$，其中 $\phi_j^j$ 表示特征 $j$ 的乘法贡献。

实验结果

研究问题

• RQ1 一种模型无关的方法能否准确估计机器学习预测中特征的乘法贡献，特别是在具有固有乘法关系的领域？
• RQ2 X-SHAP 的乘法分解在捕捉真实世界数据集上的特征重要性和预测行为方面，与加法 SHAP 相比表现如何？
• RQ3 X-SHAP 的聚合全局和分段解释在多大程度上与特定领域的期望和专家知识一致？
• RQ4 与传统的基于算术平均的方法相比，X-SHAP 中使用几何平均的部分依赖图是否能提升对异常值的鲁棒性？
• RQ5 X-SHAP 的特征重要性度量能否检测到子群体（如年轻患者与老年患者）之间特征影响的有意义差异，而这些差异可能被加法方法所掩盖？

主要发现

• X-SHAP 的乘法贡献与专家直觉高度一致，尤其在糖尿病数据集中，身体质量指数和 S5 特征的重要性被正确优先排序。
• X-SHAP 的特征重要性排序与 Kernel SHAP 非常接近，仅出现两次特征顺序颠倒，表明加法与乘法解释之间具有高度一致性。
• 在年轻患者子群体中，X-SHAP 揭示了特征重要性的显著变化，显示 S5 的影响力超过了身体质量指数——这一细微差别被全局聚合方法所忽略。
• 使用 X-SHAP 的几何平均方法生成的部分依赖图趋势更平滑，对异常值的敏感性低于传统的算术平均方法。
• 在汽车保险数据集中，X-SHAP 正确识别出城市居民和有历史索赔记录的客户具有更高的索赔成本，符合现实世界精算预期。
• X-SHAP 工具箱成功实现了多层次的解释能力——局部、全局和分段解释，展示了其在模型审计和决策支持中的多功能性。