[论文解读] L-Shapley and C-Shapley: Efficient Model Interpretation for Structured Data

Jianbo Chen, Le Song+2 more|arXiv (Cornell University)|Aug 7, 2018

Bayesian Modeling and Causal Inference被引用 55

一句话总结

本论文提出了 L-Shapley（局部）和 C-Shapley（连通）分数，用于高效计算图结构数据的逐实例特征重要性，实现线性时间复杂度，并将其与 Shapley 和 Myerson 值相关联。

ABSTRACT

We study instancewise feature importance scoring as a method for model interpretation. Any such method yields, for each predicted instance, a vector of importance scores associated with the feature vector. Methods based on the Shapley score have been proposed as a fair way of computing feature attributions of this kind, but incur an exponential complexity in the number of features. This combinatorial explosion arises from the definition of the Shapley value and prevents these methods from being scalable to large data sets and complex models. We focus on settings in which the data have a graph structure, and the contribution of features to the target variable is well-approximated by a graph-structured factorization. In such settings, we develop two algorithms with linear complexity for instancewise feature importance scoring. We establish the relationship of our methods to the Shapley value and another closely related concept known as the Myerson value from cooperative game theory. We demonstrate on both language and image data that our algorithms compare favorably with other methods for model interpretation.

研究动机与目标

• 为解释黑箱模型，动机使用逐实例的特征重要性评分。
• 开发可扩展、利用局部和连通邻域的图结构近似 Shapley 值。
• 在基于图的局部性假设下，建立与 Shapley 和 Myerson 值的理论关系。
• 在语言和图像数据上展示所提出方法的经验性能。
• 提供关于计算和与现有解释框架关系的实际指导。

提出的方法

• 将 vx(S) 定义为在特征子集 S 条件下的负对数概率的期望。
• 引入 L-Shapley：在 k-邻域 Nk(i) 内限制的边际贡献的平均，用以近似 Shapley。
• 引入 C-Shapley：使用 Nk(i) 内的连通子集及 Myerson 风格系数来近似 Shapley。
• 将 C-Shapley 与图限制联盟博弈的 Myerson 值相关，其中可分解性 v(S)=连通分量之和。
• 给出复杂度分析：L-Shapley 在 k 方面指数级、在 d 的线/网格图上线性；C-Shapley 在线图上成本为 O(k^2 d)。
• 讨论将其与基于采样或回归的近似（KernelSHAP 等）结合的潜力。

实验结果

研究问题

• RQ1 在图结构修改的 Shapley 值（L-Shapley 和 C-Shapley）是否能提供在计算量较小的情况下的准确逐实例特征归因？
• RQ2 在局部可加性条件下，L-Shapley 和 C-Shapley 如何与 Myerson 值相关，以及在何种条件下它们接近真实的 Shapley 值？
• RQ3 与现有解释方法相比，L-Shapley 和 C-Shapley 在文本和图像分类任务上的经验表现如何？
• RQ4 将这些方法应用于现实世界模型时有哪些实际指导和复杂度考虑？

主要发现

• L-Shapley 和 C-Shapley 通过利用图结构实现对 Shapley 值的线性复杂度近似。
• 在指定的互信息类型条件下，这些方法给出相对于 Shapley 的可证明误差界。
• C-Shapley 在可分解性和局部可加性下，对应图上的 Myerson 值。
• 实证结果表明在文本和图像任务上，性能与 KernelSHAP、SampleShapley、LIME、Saliency 相当或优于它们。
• 该方法可扩展到语言和图像数据，具有适度的计算预算，并在邻域内实现对交互的归因。