[论文解读] An unexpected unity among methods for interpreting model predictions

Scott Lundberg, Su‐In Lee|arXiv (Cornell University)|Nov 22, 2016

Explainable Artificial Intelligence (XAI)参考文献 5被引用 104

一句话总结

本文展示基于期望Shapley（ES）值的与模型无关的特征重要性加性表示，能够统一并证明一系列模型解释方法的有效性，并将它们与 LIME、DeepLIFT 和 Layer-wise Relevance Propagation 作为 ES 值近似联系起来。

ABSTRACT

Understanding why a model made a certain prediction is crucial in many data science fields. Interpretable predictions engender appropriate trust and provide insight into how the model may be improved. However, with large modern datasets the best accuracy is often achieved by complex models even experts struggle to interpret, which creates a tension between accuracy and interpretability. Recently, several methods have been proposed for interpreting predictions from complex models by estimating the importance of input features. Here, we present how a model-agnostic additive representation of the importance of input features unifies current methods. This representation is optimal, in the sense that it is the only set of additive values that satisfies important properties. We show how we can leverage these properties to create novel visual explanations of model predictions. The thread of unity that this representation weaves through the literature indicates that there are common principles to be learned about the interpretation of model predictions that apply in many scenarios.

研究动机与目标

• 激发对复杂模型预测进行解释的需求，以增进信任与洞察。
• 提出并形式化在某些公理下最优的特征重要性加性表示。
• 展示 ES 值如何统一现有的解释方法并为其设计选择提供依据。
• 提供跨数据集解释和诊断模型预测的可视化策略。

提出的方法

• 采用基于Shapley值的预测解释框架，将 credit 分配给输入特征。
• 将 ES 值推导为满足 efficiency、symmetry和 monotonicity 公理的唯一加性解。
• 定义了一个特定的核（Shapley 核）及损失/正则化设定，使得 ES 值成为解。
• 将 ES 值与现有方法（LIME、DeepLIFT、Layer-wise Relevance Propagation）作为近似或特例联系起来。
• 提出一种将 ES 值表示为对预测的力感知般的加性分解的可视化方法。
• 讨论估计 ES 值时的样本效率和核的重要性，以及与 Shapley 回归和 LIME 的比较。

实验结果

研究问题

• RQ1 是否可以用一个单一的加性博弈论框架捕捉各种预测解释方法的行为？
• RQ2 哪些公理约束特征归因方法，在这些约束下的唯一解是什么？
• RQ3 在解释模型预测时，现有方法如 LIME、DeepLIFT 和 LRP 如何与 ES 值相关？
• RQ4 在实际模型中解释 ES 值所产生的实际影响和可视化有哪些？
• RQ5 核的选择如何影响特征归因的估计与解释？

主要发现

• 在 efficiency、symmetry、monotonicity 公axi下，ES 值提供一个最优的、唯一的加性分解模型预测。
• Shapley 核及相应的损失/正则化使 ES 值成为解释解；该核强制 f(x)=各归因之和。
• ES 值统一并合理化了若干解释方法，表明它们是 ES 值的近似或特例。
• LIME 与 ES 值相关联；ES 值为 LIME 使用的特定局部加权核提供了理论依据。
• DeepLIFT 与 Layer-wise Relevance Propagation 在线性化或基于参考的解释下是 ES 值的近似；这将它们的计算与一个有原理基础的框架联系起来。
• 将 ES 值可视化为力状条形，直观呈现单个预测的特征贡献及数据集层面的模式。