[论文解读] DU-Shapley: A Shapley Value Proxy for Efficient Dataset Valuation

Felipe Garrido-Lucero, Benjamin Heymann+3 more|arXiv (Cornell University)|Jun 3, 2023

Explainable Artificial Intelligence (XAI)参考文献 42被引用 4

一句话总结

本文提出了 DU-Shapley，一种新颖且高效的 Shapley 值代理方法，用于数据集估值，该方法利用了依赖于数据集规模的效用函数结构。通过将 Shapley 值近似为对联盟规模上离散均匀分布的期望，DU-Shapley 降低了计算复杂度，并在数据拥有者数量增加时几乎必然收敛到真实 Shapley 值，即使在数据拥有者数量较少时也优于标准的蒙特卡洛方法。

ABSTRACT

We consider the dataset valuation problem, that is, the problem of quantifying the incremental gain, to some relevant pre-defined utility of a machine learning task, of aggregating an individual dataset to others. The Shapley value is a natural tool to perform dataset valuation due to its formal axiomatic justification, which can be combined with Monte Carlo integration to overcome the computational tractability challenges. Such generic approximation methods, however, remain expensive in some cases. In this paper, we exploit the knowledge about the structure of the dataset valuation problem to devise more efficient Shapley value estimators. We propose a novel approximation, referred to as discrete uniform Shapley, which is expressed as an expectation under a discrete uniform distribution with support of reasonable size. We justify the relevancy of the proposed framework via asymptotic and non-asymptotic theoretical guarantees and illustrate its benefits via an extensive set of numerical experiments.

研究动机与目标

• 解决在数据集估值中精确计算和基于蒙特卡洛方法的 Shapley 值估计所面临的高计算成本问题。
• 通过利用效用函数对数据集规模的结构性依赖，开发一种比通用蒙特卡洛近似更高效的替代方法。
• 为所提出方法的近似误差提供理论保证，包括渐近和非渐近两种情形。
• 通过实证结果证明，即使在数据拥有者数量较少时，DU-Shapley 也优于现有的 Shapley 值近似方法，包括 Owen-Shapley。

提出的方法

• DU-Shapley 将 Shapley 值近似为对联盟规模上离散均匀分布的期望，其支持集大小等于数据拥有者数量。
• 该方法用一种结构化近似替代了对所有子集的完整枚举，通过在固定联盟规模上平均边际贡献来实现。
• 它利用了数据集估值中效用函数通常依赖于数据点总数的特性，从而基于期望数据集规模实现简化。
• 该估计器定义为 $ \psi_i = \frac{1}{I} \left[ w(n_i) + w(n_\mathcal{I}) - w(n_{\mathcal{I}\setminus\{i\}}) \right] + \frac{1}{I} \sum_{k=1}^{I-2} \frac{1}{\binom{I-1}{k}} \sum_{\substack{\mathcal{S} \subseteq \mathcal{I}\setminus\{i\} \\ |\mathcal{S}|=k}} \left[ w(n_\mathcal{S} + n_i) - w(n_\mathcal{S}) \right] $，并采用基于期望值的简化版本。
• 该方法包含一个变体 DU-Shapley++，其使用平均数据集规模下的期望效用来近似对中等规模联盟的求和。
• 理论分析表明，随着数据拥有者数量的增加，DU-Shapley 几乎必然收敛到真实 Shapley 值。

Figure 2: Monte Carlo’s expected error for limited sampling budget ( $T=I$ ) versus DU-Shapley ’s expected bias for a value function $w(n)=1-\frac{10^{k(\mathcal{I})}}{10^{k(\mathcal{I})}+n}$ where $k(\mathcal{I})=\lfloor\log(n_{\mathcal{I}})\rfloor-1$ . For each value of $I$ , we drew $100$ times t

实验结果

研究问题

• RQ1 我们能否通过利用效用函数的结构，设计一种更高效的用于数据集估值的 Shapley 值近似方法？
• RQ2 随着数据拥有者数量的增加，所提出的 DU-Shapley 估计器是否收敛到真实 Shapley 值？
• RQ3 DU-Shapley 的近似误差如何随关键问题参数（如平均数据集规模和效用函数增长速率）变化？
• RQ4 在实际应用中，即使数据拥有者数量较少，DU-Shapley 是否也能优于标准蒙特卡洛方法和最先进的近似方法（如 Owen-Shapley）？

主要发现

• 与精确计算 Shapley 值相比，DU-Shapley 显著减少了所需的效用评估次数，后者在数据拥有者数量上呈指数增长。
• 该方法在理论上具有保障，其非渐近误差界明确依赖于平均数据集规模、其方差以及效用函数的增长速率。
• 随着数据拥有者数量的增加，DU-Shapley 几乎必然收敛到真实 Shapley 值，而通用蒙特卡洛方法在有限采样预算下无法实现这一性质。
• 实证评估表明，即使在数据拥有者数量较少时，DU-Shapley 在多个数据集估值基准上也优于其他 Shapley 值近似方法，包括 Owen-Shapley。
• 变体 DU-Shapley++ 保持了与 DU-Shapley 相同的计算成本，但通过用基于联盟规模的期望值替代求和项，提升了近似精度。