[论文解读] Data Shapley Valuation for Efficient Batch Active Learning

Amirata Ghorbani, James Zou+1 more|arXiv (Cornell University)|Apr 16, 2021

Machine Learning and Algorithms被引用 5

一句话总结

本文提出主动数据Shapley（ADS），一种线性时间的过滤方法，利用数据Shapley值在应用批量主动学习前，从无标签数据池中预选出价值最高的数据点。通过估计每个数据点对模型性能的贡献，ADS在平均情况下将效率提升6倍，同时保持或提升下游准确率，尤其在噪声数据、异构数据或分布偏移的数据分布下表现更优。

ABSTRACT

Annotating the right set of data amongst all available data points is a key challenge in many machine learning applications. Batch active learning is a popular approach to address this, in which batches of unlabeled data points are selected for annotation, while an underlying learning algorithm gets subsequently updated. Increasingly larger batches are particularly appealing in settings where data can be annotated in parallel, and model training is computationally expensive. A key challenge here is scale - typical active learning methods rely on diversity techniques, which select a diverse set of data points to annotate, from an unlabeled pool. In this work, we introduce Active Data Shapley (ADS) -- a filtering layer for batch active learning that significantly increases the efficiency of active learning by pre-selecting, using a linear time computation, the highest-value points from an unlabeled dataset. Using the notion of the Shapley value of data, our method estimates the value of unlabeled data points with regards to the prediction task at hand. We show that ADS is particularly effective when the pool of unlabeled data exhibits real-world caveats: noise, heterogeneity, and domain shift. We run experiments demonstrating that when ADS is used to pre-select the highest-ranking portion of an unlabeled dataset, the efficiency of state-of-the-art batch active learning methods increases by an average factor of 6x, while preserving performance effectiveness.

研究动机与目标

• 为解决在大规模无标签数据集上扩展批量主动学习时计算成本高的低效问题。
• 在真实场景中提升鲁棒性，其中无标签数据存在噪声、异构性或分布偏移。
• 开发一种可扩展的高效过滤机制，增强现有基于多样性的主动学习方法，同时不损失性能。
• 证明数据Shapley值可作为选择高影响力数据点的可靠效用度量指标。
• 在精心筛选的数据集和真实世界中的噪声数据场景下验证该方法，包括网络爬取和损坏的数据。

提出的方法

• ADS使用快速的线性时间近似方法计算所有无标签数据点的数据Shapley值，以估计每个点对模型性能的贡献。
• 通过基于Shapley值估计结果，仅选择前k个最高价值点，对无标签池进行预过滤。
• 将过滤后的子集输入标准的基于多样性的主动学习方法（例如CoreSet），以选择最终的标注批次。
• Shapley值被定义为数据点在所有可能训练数据子集中的平均边际贡献，通过蒙特卡洛采样进行近似。
• 该方法设计为与下游主动学习算法无关，可无缝集成到现有批量选择框架中。
• 它利用模型预测结果和梯度信息，高效估计每个数据点在提升最终模型准确率方面的影响力。

Figure 1: Effect of Data Shapley Valuation on Active Learning. (Top) Unlabeled data is filtered via Active Data Shapley Valuation to obtain the small subset that ranks highest by value. This is fed through a standard diversity method for active learning (e.g. CoreSet [ 29 ] ) to determine the points

实验结果

研究问题

• RQ1 能否利用数据Shapley值高效预过滤无标签数据，以提升批量主动学习的计算效率？
• RQ2 在真实世界数据条件下（如噪声、分布偏移和数据异构性）ADS的表现如何？
• RQ3 使用基于Shapley的过滤是否能保持或提升相比标准主动学习基线的模型性能？
• RQ4 ADS在多大程度上减轻了基于多样性的主动学习方法的计算负担？
• RQ5 当应用于大规模、低质量的网络爬取无标签数据集时，ADS的鲁棒性如何？

主要发现

• ADS使最先进批量主动学习方法的效率平均提升6.4倍，主要通过减少昂贵的多样性方法的输入规模实现。
• 在使用CINIC-10作为噪声大、分布偏移的无标签数据池时，ADS增强的主动学习在CIFAR-10上达到最高性能，优于所有基线方法。
• 在SVHN数据集中，当80%图像为噪声图像时，ADS增强的主动学习显著优于随机选择和其他基线方法，展现出对数据损坏的强鲁棒性。
• 在包含大量分布外样本和错误标注样本的Cheap-10网络爬取数据集上，ADS增强的方法显著优于其他方法，甚至在性能上超越随机选择。
• 该方法在多样化数据分布（包括精心筛选的数据集和真实世界噪声数据）中均保持高性能，证明其在实际场景中的鲁棒性。
• ADS通过减少这些计算密集型方法处理的数据点数量，实现了基于多样性的主动学习的可扩展性，尤其对O(n³)算法具有显著优势。

Figure 2: Active Data Shapley Enhancing a Diversity Method. (a) Given a trained model, labeled data is featurized, exact Shapley values are computed, and a regression model is trained to predict Shapley values from features. (b) Unlabeled data is featurized, and Shapley values are estimated with the