[论文解读] Explaining a Series of Models by Propagating Shapley Values

Hugh Chen, Scott Lundberg+1 more|arXiv (Cornell University)|Apr 30, 2021

Explainable Artificial Intelligence (XAI)被引用 10

一句话总结

DeepSHAP 是一种快速、可扩展的方法，通过基于博弈论理论框架将 Shapley 值传播到模型流水线中，实现对复杂机器学习模型系列的解释。它能够在多种模型（包括深度网络、线性模型和树模型）上实现高效且精确的特征归因，支持模型由不同机构分别拥有、分布式的设置，其速度比模型无关方法快一个数量级。

ABSTRACT

Local feature attribution methods are increasingly used to explain complex machine learning models. However, current methods are limited because they are extremely expensive to compute or are not capable of explaining a distributed series of models where each model is owned by a separate institution. The latter is particularly important because it often arises in finance where explanations are mandated. Here, we present DeepSHAP, a tractable method to propagate local feature attributions through complex series of models based on a connection to the Shapley value. We evaluate DeepSHAP across biological, health, and financial datasets to show that it provides equally salient explanations an order of magnitude faster than existing model-agnostic attribution techniques and demonstrate its use in an important distributed series of models setting.

研究动机与目标

• 为解决在模型由不同机构分别拥有、分布式的设置下，缺乏高效、可扩展的模型系列解释方法的问题。
• 克服模型无关方法的局限性，后者计算成本高且需要完整的模型访问权限。
• 将针对特定模型的归因方法（如深度模型或树模型）扩展至级联模型流水线中。
• 提供一个理论基础坚实的框架，确保在模型各层之间特征归因的效率与一致性。
• 在金融和医疗等高风险领域实现实际、可解释的模型解释，这些领域要求模型具备透明性。

提出的方法

• 通过干预条件期望集合函数，建立 DeepLIFT 规则与 Shapley 值之间的联系，提出 ICE Shapley 值。
• 推导出 ICE Shapley 值可分解为单个基线归因的平均值，从而实现高效计算。
• 提出广义重缩放规则，以在保持每层效率的同时，将归因传播至一系列模型。
• 开发组重缩放规则，用于为特征组分配归因，提升高维输入的可解释性。
• 使用多个基线样本而非单个基线，以降低归因估计中的偏差并提高鲁棒性。
• 采用基于归因值排序的特征排序方法进行消融测试，以验证归因的正确性。

Figure 1: DeepSHAP estimates Shapley value feature attributions to explain a series of models using a baseline distribution. (a) Local feature attributions with DeepSHAP require explicands (samples being explained), a baseline distribution (samples being compared to), and a model that is comprised o

实验结果

研究问题

• RQ1 Shapley 值能否被高效地传播通过一系列模型，以实现在分布式设置下的局部解释？
• RQ2 与单个基线相比，使用多个基线样本对归因质量和偏差有何影响？
• RQ3 统一框架能否在单一流水线中解释线性、深度和树基模型等多种模型类型？
• RQ4 与模型无关方法相比，所提出方法是否在显著降低计算成本的同时保持解释的保真度？
• RQ5 该方法能否支持组级别归因，以提升对高维特征集的可解释性？

主要发现

• DeepSHAP 提供的解释与模型无关方法具有同等显著性，但速度最快可快一个数量级，使其能够在真实世界流水线中实现实际部署。
• 该方法成功解释了分布式模型系列（如作为输入使用的消费者信用评分），而模型无关方法因缺乏模型访问权限而失效。
• 与单基线归因相比，使用多个基线样本可显著降低偏差，尤其当基线不能代表数据分布时效果更明显。
• 在基因组数据中基于生物上有意义的基因集生成的组归因，与已有文献高度一致，验证了其可解释性。
• 消融测试表明，按 DeepSHAP 归因值排序的特征对模型输出具有强烈且单调的影响，最重要特征在被移除时导致预测值最大降幅。
• 据目前所知，DeepSHAP 是唯一能够实现复杂、多机构模型流水线完整解释，同时保持理论一致性和计算效率的方法。

Figure 2: Using a single all-black baseline image (DeepLIFT) leads to biased attributions compared to attributions with a randomly sampled baseline distribution (DeepSHAP). The image is the explicand. The attribution plots are the sum of the absolute value of the feature attributions for the three c