[论文解读] Data Valuation using Reinforcement Learning

Jinsung Yoon, Sercan Ö. Arık+1 more|arXiv (Cornell University)|Sep 25, 2019

Domain Adaptation and Few-Shot Learning参考文献 29被引用 45

一句话总结

DVRL 通过强化学习将数据值与目标预测器联合学习，在域自适应、被污染样本发现以及在多样化数据集上的鲁棒学习方面提升数据估值。

ABSTRACT

Quantifying the value of data is a fundamental problem in machine learning. Data valuation has multiple important use cases: (1) building insights about the learning task, (2) domain adaptation, (3) corrupted sample discovery, and (4) robust learning. To adaptively learn data values jointly with the target task predictor model, we propose a meta learning framework which we name Data Valuation using Reinforcement Learning (DVRL). We employ a data value estimator (modeled by a deep neural network) to learn how likely each datum is used in training of the predictor model. We train the data value estimator using a reinforcement signal of the reward obtained on a small validation set that reflects performance on the target task. We demonstrate that DVRL yields superior data value estimates compared to alternative methods across different types of datasets and in a diverse set of application scenarios. The corrupted sample discovery performance of DVRL is close to optimal in many regimes (i.e. as if the noisy samples were known apriori), and for domain adaptation and robust learning DVRL significantly outperforms state-of-the-art by 14.6% and 10.8%, respectively.

研究动机与目标

• 动机：在数据质量和领域不匹配成为问题时，将数据估值作为改进学习的一种手段。
• 提出一种元学习框架，联合训练数据值估计器与目标预测器。
• 实现自适应样本加权，以优先考虑对目标任务有信息量的数据。
• 展示 DVRL 在域自适应、被污染样本发现以及鲁棒学习场景中的有效性。

提出的方法

• 引入一个数据值估计器 hφ，它输出每个训练数据 (x, y) 的选择概率 w。
• 通过对按 w 抽取的数据进行加权损失最小化来训练目标预测器 fθ。
• 将数据样本选择建模为一个随机过程，并通过验证集奖励，使用 REINFORCE 对 φ 进行强化学习优化。
• 使用一个小型目标分布的验证集来提供反映任务性能的强化信号。
• 应用移动平均基线 δ 来稳定策略梯度更新。
• 通过展示 DVRL 的训练开销并非随数据集规模呈指数增长来证明可扩展性。

实验结果

研究问题

• RQ1 可学习的数据值估计器是否能与预测器联合优化，从而提升目标任务的性能？
• RQ2 与现有数据估值方法相比，DVRL 在域自适应、被污染样本发现和鲁棒学习方面的表现如何？
• RQ3 在不同任务中，哪种验证集规模足以实现可靠的数据估值？
• RQ4 DVRL 是否能够扩展到大规模数据集和复杂模型而不产生过高的计算成本？

主要发现

• DVRL 在图像、表格和语言数据集上，相对于基于排列和博弈论基线，给出更优的数据值估计。
• 在被污染样本发现中，DVRL 将噪声标签分配较低值的能力在许多情形接近最优性能。
• 在域自适应和鲁棒学习方面，DVRL 比最先进方法显著领先，幅度很大（在报告的情境中，例如高达 14.6% 和 10.8%）。
• DVRL 仍然可扩展到大数据集和复杂模型，训练开销大约是标准训练的两倍，而不是随数据集规模呈指数增长。