[论文解读] Efficient computation and analysis of distributional Shapley values

Yongchan Kwon, Manuel A. Rivas+1 more|arXiv (Cornell University)|Jul 2, 2020

Bayesian Modeling and Causal Inference参考文献 34被引用 15

一句话总结

本文首次为线性回归、二分类和非参数密度估计中的分布式沙普利值（DShapley）提供了解析表达式，使计算速度比以往方法快几个数量级。所提出的框架提供了可解释的公式，揭示了DShapley如何依赖于马氏距离和误差方差等数据特征。

ABSTRACT

Distributional data Shapley value (DShapley) has recently been proposed as a principled framework to quantify the contribution of individual datum in machine learning. DShapley develops the foundational game theory concept of Shapley values into a statistical framework and can be applied to identify data points that are useful (or harmful) to a learning algorithm. Estimating DShapley is computationally expensive, however, and this can be a major challenge to using it in practice. Moreover, there has been little mathematical analyses of how this value depends on data characteristics. In this paper, we derive the first analytic expressions for DShapley for the canonical problems of linear regression, binary classification, and non-parametric density estimation. These analytic forms provide new algorithms to estimate DShapley that are several orders of magnitude faster than previous state-of-the-art methods. Furthermore, our formulas are directly interpretable and provide quantitative insights into how the value varies for different types of data. We demonstrate the practical efficacy of our approach on multiple real and synthetic datasets.

研究动机与目标

• 解决现有DShapley估计方法中存在的高计算成本和缺乏理论分析的问题。
• 为经典机器学习问题（线性回归、二分类和密度估计）建立首个闭式解析表达式。
• 通过推导数学上严谨的闭式解，实现快速、稳定且可解释的数据估值。
• 提出实用算法，在保持精度的同时显著优于当前最先进方法的计算速度。
• 提供关于DShapley如何随输入幅度和噪声水平等数据特征变化的定量洞察。

提出的方法

• 基于从分布中独立同分布抽样的假设，利用全期望定律和条件矩，推导DShapley的解析表达式。
• 对于线性回归，将DShapley表示为马氏距离 $x^{*T}\Sigma_X^{-1}x^*$ 和误差方差 $e^{*2}$ 的函数，利用条件期望与方差分解。
• 对于二分类问题，基于逻辑损失及其在数据分布下的条件期望推导DShapley。
• 对于非参数密度估计，采用核密度估计，并通过扰动下对数似然差的期望推导DShapley。
• 基于解析形式提出新型估计算法，避免蒙特卡洛采样，降低计算复杂度。
• 利用集中不等式和交叉验证进行带宽选择，提出DShapley的上下界，实现高效近似。

实验结果

研究问题

• RQ1 线性回归、二分类和非参数密度估计中的DShapley的解析表达式是什么？
• RQ2 DShapley如何随马氏距离和噪声方差等数据特征变化？
• RQ3 闭式DShapley表达式能否显著提升计算速度与稳定性，优于现有基于蒙特卡洛的方法？
• RQ4 所推导的公式如何为单个数据点的贡献提供可解释的洞察？
• RQ5 所提算法在真实与合成数据集上的实际性能如何，体现在速度与精度方面？

主要发现

• 所提出的线性回归、二分类和密度估计的DShapley解析公式，其计算速度比以往最先进的蒙特卡洛方法快几个数量级。
• 当误差方差 $e^{*2}$ 较大时，DShapley随马氏距离 $x^{*T}\Sigma_X^{-1}x^{*}$ 的变化呈非单调性；当 $e^{*2}$ 较小时，DShapley随 $x^{*T}\Sigma_X^{-1}x^{*}$ 增大而增加，表明极端输入的贡献更高。
• 随着数据集大小 $m$ 增大，DShapley的绝对值减小，反映出边际贡献递减的特性。
• DShapley的下界近似在实践中表现良好，而上界效果较差，提示在估计中应谨慎使用上界。
• 在真实与合成数据集上的数值实验表明，所提算法在大幅降低计算时间的同时，仍保持高精度。