[论文解读] Explaining Models by Propagating Shapley Values of Local Components

Hugh Chen, Scott Lundberg+1 more|arXiv (Cornell University)|Nov 27, 2019

Explainable Artificial Intelligence (XAI)被引用 8

一句话总结

本文提出了DeepSHAP，一种将Shapley值归因方法扩展至深度神经网络和混合模型堆栈的框架，通过逐层传播值实现快速、确定性的解释，并在背景分布的理论基础上提供支持。该方法在先前方法的基础上，通过提供基于背景的归因的理论依据，并改进RevealCancel规则，以更准确地逼近SHAP值。

ABSTRACT

In healthcare, making the best possible predictions with complex models (e.g., neural networks, ensembles/stacks of different models) can impact patient welfare. In order to make these complex models explainable, we present DeepSHAP for mixed model types, a framework for layer wise propagation of Shapley values that builds upon DeepLIFT (an existing approach for explaining neural networks). We show that in addition to being able to explain neural networks, this new framework naturally enables attributions for stacks of mixed models (e.g., neural network feature extractor into a tree model) as well as attributions of the loss. Finally, we theoretically justify a method for obtaining attributions with respect to a background distribution (under a Shapley value framework).

研究动机与目标

• 开发一种解释复杂黑箱模型（尤其是深度神经网络和堆叠集成模型）的方法，通过将预测结果归因于输入特征。
• 提供一种计算相对于背景分布的Shapley值的理论可靠方法，克服先前公式在这一方面的局限性。
• 将Shapley值归因方法从单个模型扩展至异构模型类型堆叠（例如，神经网络 + 树模型）。
• 通过在Shapley值的语境下重新解释规则，提升现有基于规则的解释方法（如DeepLIFT）的准确性。
• 通过实现类似反向传播的确定性归因，降低模型无关SHAP近似方法（如KernelSHAP和IME）的方差和计算成本。

提出的方法

• 通过逐层反向传播的方式，在深度网络中传播Shapley值，分别处理非线性和线性组件。
• 将DeepLIFT的Rescale和RevealCancel规则重新解释为精确Shapley值的近似方法，确保局部准确性和计算效率。
• 提出一种基于背景分布的新公式，其中归因是相对于参考分布而非单一样本计算的。
• 提出RevealCancel^Mean规则，将分裂阈值设为加权特征贡献的均值，而非零，从而提升近似质量。
• 将该框架应用于解释模型输出和损失函数，扩展其在训练诊断中的实用性。
• 采用基于路径的贡献分解方法，其中归因被计算为从输入到输出的激活路径上的加权和。

实验结果

研究问题

• RQ1 如何通过类似反向传播的方法高效且准确地近似深度神经网络中的Shapley值？
• RQ2 能否形式化DeepLIFT规则与Shapley值之间的联系，以提升解释的保真度？
• RQ3 如何在相对于单一样本参考值之外的背景分布上，有意义地计算Shapley值归因？
• RQ4 在准确性和方差方面，DeepSHAP在多大程度上优于基于采样的模型无关方法（如KernelSHAP和IME）？
• RQ5 通过修改其阈值策略，能否改进RevealCancel规则以更准确地逼近真实的Shapley值？

主要发现

• DeepSHAP实现了无采样方差的确定性归因，仅需固定数量的模型评估，而无需像KernelSHAP和IME等采样方法那样依赖随机采样。
• RevealCancel^Mean规则相比原始的RevealCancel和Rescale规则，显著降低了近似误差，且无额外计算成本。
• 在相关特征数据集的实验中，DeepSHAP在特征重要性恢复方面优于IME Explainer和KernelSHAP，尤其是在特征解封的早期阶段。
• 消融指标'keep absolute (mask)'表明，与基于采样的替代方法相比，DeepSHAP能更快且更一致地识别出最重要特征。
• DeepSHAP成功解释了混合模型堆栈（如神经网络特征提取器连接到树模型），证明其在单模型架构之外的泛化能力。
• 为在Shapley值计算中使用背景分布提供了理论依据，解决了原始DeepSHAP公式中的一个关键局限性。