[论文解读] Improving KernelSHAP: Practical Shapley Value Estimation via Linear Regression

Ian Covert, Su‐In Lee|arXiv (Cornell University)|Dec 2, 2020

Explainable Artificial Intelligence (XAI)被引用 9

一句话总结

本文通过引入基于线性回归的无偏估计器来改进KernelSHAP，以实现收敛性检测、不确定性量化和方差减少。研究表明，原始KernelSHAP虽具有可忽略的偏差但方差显著更低，且提出了一个实用框架，用于在模型无关和随机合作博弈设置下高效、可靠地估计Shapley值。

ABSTRACT

The Shapley value concept from cooperative game theory has become a popular technique for interpreting ML models, but efficiently estimating these values remains challenging, particularly in the model-agnostic setting. Here, we revisit the idea of estimating Shapley values via linear regression to understand and improve upon this approach. By analyzing the original KernelSHAP alongside a newly proposed unbiased version, we develop techniques to detect its convergence and calculate uncertainty estimates. We also find that the original version incurs a negligible increase in bias in exchange for significantly lower variance, and we propose a variance reduction technique that further accelerates the convergence of both estimators. Finally, we develop a version of KernelSHAP for stochastic cooperative games that yields fast new estimators for two global explanation methods.

研究动机与目标

• 解决原始KernelSHAP方法中缺乏收敛性检测和不确定性量化的问题。
• 分析原始KernelSHAP与新提出的无偏版本之间的偏差-方差权衡。
• 开发一种方差减少技术，以加速Shapley值估计器的收敛。
• 将基于回归的方法扩展至随机合作博弈，以实现SAGE和Shapley Effects等快速全局解释方法。
• 为实际应用中确定样本量和评估估计器可靠性提供实用工具。

提出的方法

• 通过重新表述回归目标，消除估计中的系统性误差，提出KernelSHAP的无偏变体。
• 使用Welford算法在线估计均值和协方差，以实现实时收敛性监控。
• 基于估计的Shapley值范围与不确定度（标准差）之比，提出一种收敛性判定准则。
• 通过对偶抽样实现方差减少，即每个样本与其补集配对以降低估计器方差。
• 通过在随机变量上建模期望博弈值，将回归框架适配至随机合作博弈，从而实现对SAGE和Shapley Effects等全局解释方法的快速近似。
• 利用中间回归估计的样本协方差推导不确定性估计，并按样本数量进行缩放。

实验结果

研究问题

• RQ1 原始KernelSHAP估计器是否存在显著偏差，其方差与无偏替代方法相比如何？
• RQ2 在不进行完整计算的情况下，能否在采样过程中可靠地检测Shapley值估计器的收敛？
• RQ3 能否为基于回归的Shapley值估计方法有意义地推导出不确定性估计？
• RQ4 通过使用对偶抽样实现的方差减少在加速Shapley值估计器收敛方面效果如何？
• RQ5 基于回归的方法能否扩展至随机合作博弈，以实现快速的全局解释方法？

主要发现

• 与无偏版本相比，原始KernelSHAP估计器的偏差增加可忽略不计，但其方差显著更低，因此更具稳定性且收敛更快。
• 所提出的基于不确定度与值范围之比的收敛性检测方法能可靠识别出已收集足够样本的时刻。
• 基于中间回归结果经验协方差推导出的不确定性估计，可作为估计可靠性的真实度量。
• 采用对偶抽样实现的方差减少技术显著降低了估计器方差，并加速了收敛，尤其在高维设置下效果更明显。
• 扩展至随机合作博弈后，可实现对SAGE和Shapley Effects等全局解释方法的快速、准确近似，且计算成本更低。
• 实证结果表明，无偏回归估计器在性能上可与基于采样的替代方法相当或更优，同时提供不确定性量化和收敛性监控。