[论文解读] Data-OOB: Out-of-bag Estimate as a Simple and Efficient Data Value

Yongchan Kwon, James Zou|arXiv (Cornell University)|Apr 16, 2023

Machine Learning and Data Classification被引用 4

一句话总结

本文提出 Data-OOB，一种计算高效的袋装模型数据估值方法，利用袋外（OOB）估计在无需重新训练模型的情况下分配数据价值。该方法在单个 CPU 上对一百万条样本的推理时间低于 2.25 小时，且在识别错误标注和关键数据点方面优于当前最先进方法。

ABSTRACT

Data valuation is a powerful framework for providing statistical insights into which data are beneficial or detrimental to model training. Many Shapley-based data valuation methods have shown promising results in various downstream tasks, however, they are well known to be computationally challenging as it requires training a large number of models. As a result, it has been recognized as infeasible to apply to large datasets. To address this issue, we propose Data-OOB, a new data valuation method for a bagging model that utilizes the out-of-bag estimate. The proposed method is computationally efficient and can scale to millions of data by reusing trained weak learners. Specifically, Data-OOB takes less than 2.25 hours on a single CPU processor when there are $10^6$ samples to evaluate and the input dimension is 100. Furthermore, Data-OOB has solid theoretical interpretations in that it identifies the same important data point as the infinitesimal jackknife influence function when two different points are compared. We conduct comprehensive experiments using 12 classification datasets, each with thousands of sample sizes. We demonstrate that the proposed method significantly outperforms existing state-of-the-art data valuation methods in identifying mislabeled data and finding a set of helpful (or harmful) data points, highlighting the potential for applying data values in real-world applications.

研究动机与目标

• 解决基于 Shapley 的数据估值方法在大规模数据集上计算不可行的问题。
• 开发一种在实际机器学习应用中既高效又具有统计可解释性的数据估值框架。
• 利用袋装模型中已有的弱学习器（如随机森林）避免重新训练，降低计算成本。
• 在温和假设下，通过证明顺序一致性，确保与既有的影响度量（如无穷小刀切法）一致。
• 在多种分类数据集上，展示在识别有益、有害及错误标注数据点方面的卓越性能。

提出的方法

• 利用袋装模型中自助采样产生的袋外（OOB）估计来计算数据价值，无需重新训练模型。
• 将数据价值定义为在所有自助采样迭代中，对 OOB 样本评估的模型性能得分的平均值。
• 重用已训练的弱学习器（如随机森林中的决策树），实现在模型训练后每个数据点的推理成本为 O(1)。
• 通过聚合 OOB 预测结果，采用影响度的闭式近似，避免了完整模型重新训练的需要。
• 理论基础：在温和的正则性条件下，证明 Data-OOB 保留了与无穷小刀切影响函数相同的样本排序。
• 适用于任何随机森林适用的表格型数据集，因此在以数据为中心的机器学习工作流中具有广泛适用性。

Figure 1: Illustration of the proposed data valuation method. The OOB stands for the out-of-bag set. For each bootstrap sampling procedure, we evaluate an estimate $T_{b}(\star)$ if the datum $\star$ is in the OOB set. Here, $T_{b}(\star)$ is a score of the model trained with the $b$ -th bootstrap d

实验结果

研究问题

• RQ1 基于袋装模型中 OOB 估计的数据估值方法，能否同时实现计算效率与统计可解释性？
• RQ2 Data-OOB 在样本排序上是否与既有的影响度量（如无穷小刀切法）保持一致性？
• RQ3 在识别错误标注和关键数据点方面，Data-OOB 与当前最先进数据估值方法相比表现如何？
• RQ4 Data-OOB 能否在大规模数据集（如 100 万条样本）上实现极低计算开销的扩展？
• RQ5 当集成中弱学习器数量 B 变化时，Data-OOB 的鲁棒性如何？

主要发现

• 在单个 CPU 上，对于包含 100 万条样本、100 个特征的数据集，Data-OOB 的数据价值计算时间低于 2.25 小时，显著优于基于模型重新训练的方法。
• 在不同弱学习器数量（B ∈ {400, 800, 3200}）下，该方法在错误标注数据检测中均表现出稳定的 F1 分数，表明对超参数选择具有鲁棒性。
• 在 12 个分类数据集上的实验表明，与 KNN-Shapley 和 AME 相比，Data-OOB 在识别有益和有害数据点方面表现更优，表现为移除数据后分布发生显著偏移。
• Data-OOB 与无穷小刀切影响函数保持顺序一致性，即在比较两个样本时，能一致地将更具影响力的样本排在更前位置。
• 该方法在识别错误标注数据方面优于现有最先进方法，凸显其在数据清洗和数据质量评估中的实用价值。
• Data-OOB 对弱学习器数量 B 不敏感，在不同集成规模下均表现出稳定性能，显著提升了实际可用性。

Figure 2: Elapsed time comparison between KNN Shapley , AME , and Data-OOB . We use a synthetic binary classification dataset with (left) $d=10$ and (right) $d=100$ . We exclude the setting $(n,d)=(5\times 10^{5},100)$ as KNN Shapley exceeds 24 hours. The error bar indicates a 95% confidence interva