[论文解读] Absolute Shapley Value

Jinfei Liu|arXiv (Cornell University)|Mar 23, 2020

Bayesian Modeling and Causal Inference参考文献 8被引用 4

一句话总结

本文提出了一种名为绝对沙普利值（Absolute Shapley Value）的新方法，用于通过取边际贡献的绝对值来评估机器学习中的数据重要性，即使这些边际贡献为负值。在Iris数据集上的实验表明，与原始沙普利值和零沙普利值相比，绝对沙普利值在识别真正重要或不重要的数据元组方面表现更优，表现为基于沙普利值排序的前k个数据进行训练时，模型准确率更高。

ABSTRACT

Shapley value is a concept in cooperative game theory for measuring the contribution of each participant, which was named in honor of Lloyd Shapley. Shapley value has been recently applied in data marketplaces for compensation allocation based on their contribution to the models. Shapley value is the only value division scheme used for compensation allocation that meets three desirable criteria: group rationality, fairness, and additivity. In cooperative game theory, the marginal contribution of each contributor to each coalition is a nonnegative value. However, in machine learning model training, the marginal contribution of each contributor (data tuple) to each coalition (a set of data tuples) can be a negative value, i.e., the accuracy of the model trained by a dataset with an additional data tuple can be lower than the accuracy of the model trained by the dataset only. In this paper, we investigate the problem of how to handle the negative marginal contribution when computing Shapley value. We explore three philosophies: 1) taking the original value (Original Shapley Value); 2) taking the larger of the original value and zero (Zero Shapley Value); and 3) taking the absolute value of the original value (Absolute Shapley Value). Experiments on Iris dataset demonstrate that the definition of Absolute Shapley Value significantly outperforms the other two definitions in terms of evaluating data importance (the contribution of each data tuple to the trained model).

研究动机与目标

• 解决机器学习模型数据估值中负边际贡献的挑战。
• 评估对边际贡献取绝对值是否能改善数据重要性的评估。
• 比较三种沙普利值定义的哲学：原始、零和绝对。
• 通过实证验证哪种定义在模型性能方面最能识别出重要数据元组。
• 为数据市场和模型训练提供一种理论合理且实际有效的数据估值方法。

提出的方法

• 提出绝对沙普利值作为新定义，即在沙普利值计算中，将每个数据元组的边际贡献替换为其绝对值。
• 使用蒙特卡洛采样高效近似沙普利值，通过对数据元组的随机排列平均边际贡献。
• 定义三种变体：原始（原始边际贡献）、零（截断至零）和绝对（边际贡献的绝对值）。
• 采用基于模型准确率的标准效用函数（SVM和逻辑回归），在保留的测试集上进行评估。
• 将沙普利值计算应用于Iris数据集，使用前K个和后K个数据元组训练模型并测量准确率。
• 采用算法采样估计沙普利值，并通过收敛控制确保无偏且高效的近似。

实验结果

研究问题

• RQ1 对边际贡献取绝对值是否能改善机器学习模型中重要数据元组的识别？
• RQ2 原始、零和绝对沙普利值的不同定义如何影响数据重要性的排序？
• RQ3 与现有定义相比，绝对沙普利值是否能更好地区分真正重要和不重要的数据元组？
• RQ4 基于绝对沙普利值排序的前K个数据元组训练的模型，其准确率是否高于基于原始或零沙普利值排序的模型？
• RQ5 当边际贡献为负时，绝对沙普利值定义是否更能稳健地捕捉数据元组的真实贡献？

主要发现

• 在Iris数据集上，对逻辑回归和SVM模型，基于绝对沙普利值排序的前35个数据元组训练的模型均达到100.00%的准确率，证实其在识别高价值数据方面的有效性。
• 基于绝对沙普利值排序的后35个数据元组训练的模型准确率为60.00%，显著低于零沙普利值定义下的63.33%，表明绝对沙普利值能更好地识别不重要的数据。
• 相比之下，原始沙普利值对前K个和后K个数据元组训练的模型均赋予100.00%的准确率，表明其无法区分重要与不重要的数据。
• 绝对沙普利值定义在前10个最高排名元组中正确识别出6个支持向量，优于零定义（5个）和原始定义（4个），证实其与模型结构的更好对齐。
• 在绝对沙普利值定义下，最低10个元组在特征空间中更紧凑且居中，表明其影响力较小，这与其低估值一致。
• 结果表明，绝对沙普利值在评估数据重要性方面表现更优，因为它将大绝对值的负贡献也视为显著，而原始和零定义则不具备这一特性。