[论文解读] An Empirical and Comparative Analysis of Data Valuation with Scalable Algorithms

Ruoxi Jia, Xuehui Sun+4 more|arXiv (Cornell University)|Sep 25, 2019

Privacy-Preserving Technologies in Data参考文献 10被引用 17

一句话总结

本文提出了一种基于K近邻（KNN）的可扩展启发式方法，用于在监督学习中近似计算Shapley值，实现了与模型大小无关的复杂度，从而高效地进行数据估值。实验表明，该方法在标签噪声修正、数据摘要和主动学习等任务中，其性能与现有方法相当或更优，同时显著提升了计算速度。

ABSTRACT

This paper focuses on valuating training data for supervised learning tasks and studies the Shapley value, a data value notion originated in cooperative game theory. The Shapley value defines a unique value distribution scheme that satisfies a set of appealing properties desired by a data value notion. However, the Shapley value requires exponential complexity to calculate exactly. Existing approximation algorithms, although achieving great improvement over the exact algorithm, relies on retraining models for multiple times, thus remaining limited when applied to larger-scale learning tasks and real-world datasets. In this work, we develop a simple and efficient heuristic for data valuation based on the Shapley value with complexity independent with the model size. The key idea is to approximate the model via a $K$-nearest neighbor ($K$NN) classifier, which has a locality structure that can lead to efficient Shapley value calculation. We evaluate the utility of the values produced by the $K$NN proxies in various settings, including label noise correction, watermark detection, data summarization, active data acquisition, and domain adaption. Extensive experiments demonstrate that our algorithm achieves at least comparable utility to the values produced by existing algorithms while significant efficiency improvement. Moreover, we theoretically analyze the Shapley value and justify its advantage over the leave-one-out error as a data value measure.

研究动机与目标

• 解决大规模学习任务中精确计算和现有近似Shapley值计算的高计算成本问题。
• 开发一种与模型大小无关的复杂度的数据估值方法，以实现对真实世界数据集的可扩展性。
• 评估KNN近似Shapley值在多样化机器学习应用中的实用性。
• 从理论上证明Shapley值相较于留一法误差作为数据估值度量的优越性。

提出的方法

• 使用K近邻（KNN）分类器近似机器学习模型，利用其局部结构特性以实现高效的Shapley值计算。
• 利用KNN的局部特性，在无需重训练完整模型的情况下计算Shapley值，将复杂度从指数级降低至线性级（与数据量成正比）。
• 利用KNN代理模型估计每个训练样本对模型性能的边际贡献，作为数据估值的基础。
• 将KNN近似Shapley值应用于下游任务，如标签噪声修正、数据摘要和主动数据获取。
• 通过依赖KNN的局部推理机制，避免重复的模型重训练，从而实现快速且可扩展的数据估值。

实验结果

研究问题

• RQ1 基于KNN的代理模型是否能在数据估值实用性方面与现有近似方法相媲美？
• RQ2 KNN近似Shapley值是否在理论上仍优于留一法误差作为数据估值度量？
• RQ3 所提出方法在大规模数据集和复杂模型下的计算效率如何实现可扩展性？
• RQ4 在哪些真实世界的机器学习应用中，KNN近似Shapley值展现出实际应用价值？

主要发现

• 该KNN启发式方法在标签噪声修正、水印检测、数据摘要、主动数据获取和领域自适应等任务中，其数据估值实用性至少与现有近似算法相当。
• 该方法显著降低了计算成本，且复杂度与模型大小无关，从而实现了对大规模数据集的可扩展性。
• 理论分析证实，由于其优良的公理化性质，Shapley值作为数据估值度量优于留一法误差。
• 实证结果表明，即使在噪声或不平衡数据条件下，KNN近似Shapley值也能有效识别出具有影响力的训练样本。