[论文解读] From Shapley Values to Generalized Additive Models and back

Sebastian Bordt, Ulrike von Luxburg|arXiv (Cornell University)|Sep 8, 2022

Explainable Artificial Intelligence (XAI)被引用 16

一句话总结

本文提出了 n-Shapley 值，这是一种参数化的局部后 hoc 解释方法族，将 Shapley 值推广至捕捉最高阶数为 n 的交互效应。它建立了 n-Shapley 值与广义可加模型（GAMs）之间的精确函数对应关系，表明这些解释能够恢复具有最高阶数为 n 的交互效应的 GAM 的真实函数分解，从而为可解释人工智能中的 Shapley 值提供了原则性且基于函数的解释。

ABSTRACT

In explainable machine learning, local post-hoc explanation algorithms and inherently interpretable models are often seen as competing approaches. This work offers a partial reconciliation between the two by establishing a correspondence between Shapley Values and Generalized Additive Models (GAMs). We introduce $n$-Shapley Values, a parametric family of local post-hoc explanation algorithms that explain individual predictions with interaction terms up to order $n$. By varying the parameter $n$, we obtain a sequence of explanations that covers the entire range from Shapley Values up to a uniquely determined decomposition of the function we want to explain. The relationship between $n$-Shapley Values and this decomposition offers a functionally-grounded characterization of Shapley Values, which highlights their limitations. We then show that $n$-Shapley Values, as well as the Shapley Taylor- and Faith-Shap interaction indices, recover GAMs with interaction terms up to order $n$. This implies that the original Shapely Values recover GAMs without variable interactions. Taken together, our results provide a precise characterization of Shapley Values as they are being used in explainable machine learning. They also offer a principled interpretation of partial dependence plots of Shapley Values in terms of the underlying functional decomposition. A package for the estimation of different interaction indices is available at \url{https://github.com/tml-tuebingen/nshap}.

研究动机与目标

• 将如 Shapley 值等局部后 hoc 解释方法与广义可加模型（GAMs）等固有可解释模型相协调。
• 形式化 Shapley 值与函数分解之间的关系，特别强调其在捕捉高阶交互效应方面的局限性。
• 提出 n-Shapley 值作为可建模最高阶数为 n 的变量交互作用的参数化解释算法族。
• 证明基于 Shapley 的解释（包括 n-Shapley、Shapley Taylor 和 Faith-Shap）对具有最高阶数为 n 的交互效应的 GAM 完全忠实。
• 通过将 Shapley 值与函数分解为可加分量的唯一性关联，提供对 Shapley 值的功能性根基描述。

提出的方法

• 将 n-Shapley 值引入为标准 Shapley 值的推广，其包含最高阶数为 n 的交互项。
• 将 Shapley-GAM 分解定义为预测函数的可加分量函数分解，基于子集合规性与值函数性质。
• 建立 n-Shapley 值可恢复具有最高阶数为 n 的交互效应的 GAM 的真实非线性分量函数。
• 证明当解释阶数匹配或超过模型的最大交互阶数时，基于 Shapley 的解释（包括 Shapley Taylor 和 Faith-Shap）对 GAM 完全忠实。
• 使用子集合规性作为值函数产生明确定义的函数分解的必要且充分条件。
• 在 kNN 分类器上，使用 500、5000 和 133,549 个样本估计 Shapley-GAM 分解，验证高阶项的稳定性和准确性。

实验结果

研究问题

• RQ1 Shapley 值与广义可加模型（GAMs）之间有何关系，特别是在存在变量交互效应的情况下？
• RQ2 基于 Shapley 的解释能否忠实恢复具有最高阶数为 n 的交互效应的 GAM 的函数分解？
• RQ3 Shapley 值在解释复杂非线性模型（如神经网络）中的功能角色是什么？
• RQ4 何种条件可确保值函数产生预测函数的唯一且有意义的函数分解？
• RQ5 n-Shapley 框架如何协调局部后 hoc 解释与固有可解释模型之间的关系？

主要发现

• n-Shapley 值可恢复具有最高阶数为 n 的交互效应的 GAM 的真实函数分解，建立了解释方法与可解释模型之间的精确对应关系。
• 当解释阶数匹配或超过模型的最大交互阶数时，基于 Shapley 的解释（包括 Shapley Taylor 和 Faith-Shap）对 GAM 完全忠实。
• 干预性 SHAP 值在无变量交互效应的 GAM 中完全忠实，即使在特征依赖情况下亦然，从而解决了其解释中长期存在的模糊性问题。
• 在子集合规性条件下，Shapley-GAM 分解是唯一确定的，为 Shapley 值提供了基于函数的描述。
• 在小样本量（如 N=5000）下，高阶 Shapley 系数估计不够精确，但整体函数和保持稳定，如在 Folktables Travel 数据集上的实证估计所示。
• 结果表明，任何函数（包括神经网络）均可通过基于 Shapley 的解释，以类似 GAM 的形式进行函数分解，且可能包含高阶交互效应。