[论文解读] LAVA: Data Valuation without Pre-Specified Learning Algorithms

Hoang Anh Just, Feiyang Kang+5 more|arXiv (Cornell University)|Apr 28, 2023

Privacy-Preserving Technologies in Data被引用 6

一句话总结

LAVA 提出了一种与学习算法无关的数据价值评估框架，无需依赖预设的学习算法即可分配数据价值。它使用类别级 Wasserstein 距离作为验证性能的代理指标，并通过该距离对单个数据点概率质量扰动的敏感性分析来计算数据价值，从而实现快速、可扩展且稳健的价值评估，在检测低质量数据方面优于当前最先进方法，且速度高出数个数量级。

ABSTRACT

Traditionally, data valuation (DV) is posed as a problem of equitably splitting the validation performance of a learning algorithm among the training data. As a result, the calculated data values depend on many design choices of the underlying learning algorithm. However, this dependence is undesirable for many DV use cases, such as setting priorities over different data sources in a data acquisition process and informing pricing mechanisms in a data marketplace. In these scenarios, data needs to be valued before the actual analysis and the choice of the learning algorithm is still undetermined then. Another side-effect of the dependence is that to assess the value of individual points, one needs to re-run the learning algorithm with and without a point, which incurs a large computation burden. This work leapfrogs over the current limits of data valuation methods by introducing a new framework that can value training data in a way that is oblivious to the downstream learning algorithm. Our main results are as follows. (1) We develop a proxy for the validation performance associated with a training set based on a non-conventional class-wise Wasserstein distance between training and validation sets. We show that the distance characterizes the upper bound of the validation performance for any given model under certain Lipschitz conditions. (2) We develop a novel method to value individual data based on the sensitivity analysis of the class-wise Wasserstein distance. Importantly, these values can be directly obtained for free from the output of off-the-shelf optimization solvers when computing the distance. (3) We evaluate our new data valuation framework over various use cases related to detecting low-quality data and show that, surprisingly, the learning-agnostic feature of our framework enables a significant improvement over SOTA performance while being orders of magnitude faster.

研究动机与目标

• 为解决现有数据价值评估方法依赖特定学习算法的局限性，从而阻碍其在早期数据采集和数据市场中的应用。
• 通过避免依赖模型性能指标，消除重新训练模型以进行留一法或合作博弈论价值评估带来的计算负担。
• 开发一种对数据重复和噪声具有鲁棒性的数据价值评估方法，确保在数据被复制或扰动时价值保持稳定。
• 实现高效、可扩展的数据价值评估，可直接从现成的优化求解器中计算，无需额外训练。
• 提供一种分布式、通用的数据价值评估框架，适用于模型选择或超参数调优之前。

提出的方法

• 提出一种非常规的类别级 Wasserstein 距离，用于衡量训练集与验证集之间的差异，作为模型泛化性能的代理指标。
• 使用混合欧氏- Wasserstein 代价函数比较不同数据集之间的特征-标签对，捕捉分布偏移。
• 基于模型类的利普希茨连续性假设，建立验证性能的理论边界。
• 通过分析 Wasserstein 距离对单个数据点概率质量扰动的敏感性，推导出数据价值。
• 利用现成的最优传输求解器（如 geomloss、otdd）同时计算距离与数据价值，无需额外计算成本。
• 采用分布式公式，天然忽略重复数据点，对小范围的特征或标签扰动具有鲁棒性。

实验结果

研究问题

• RQ1 能否设计一种与任何下游学习算法无关的数据价值评估框架？
• RQ2 能否使用训练集与验证集之间的类别级 Wasserstein 距离有效代理模型的泛化性能？
• RQ3 能否通过该距离的敏感性分析高效且准确地计算数据价值，而无需重新训练模型？
• RQ4 与最先进方法相比，该方法在检测低质量数据（如误标、投毒或噪声样本）方面的表现如何？
• RQ5 该框架是否对数据重复和小扰动具有鲁棒性，从而适用于现实世界的数据市场？

主要发现

• LAVA 在多个基准测试中均实现了检测低质量数据的最先进性能，包括误标、投毒和噪声数据。
• 该方法比现有依赖学习的数据价值评估方法快至 100 倍，运行时间与数据集大小呈线性关系。
• 类别级 Wasserstein 距离在数据重复时保持不变，表明对复制数据具有鲁棒性。
• 小范围的特征或标签扰动对距离的影响极小，表明在噪声下具有稳定性。
• 通过敏感性分析计算的数据价值可直接从标准最优传输求解器中获得，无需额外计算。
• 在 ImageNet-100 的实验中，即使存在 25% 的误标数据，LAVA 仍保持高精度，检测率优于先前方法。