[论文解读] Learning Data Manipulation for Augmentation and Weighting

Zhiting Hu, Bowen Tan+3 more|arXiv (Cornell University)|Oct 28, 2019

Machine Learning and Data Classification被引用 71

一句话总结

这篇论文提出一个统一的基于梯度的框架，通过参数化数据奖励并联合优化操作和模型参数，学习数据操作技术（增强和加权），在文本和图像任务的低数据和不平衡设置中优于基线。

ABSTRACT

Manipulating data, such as weighting data examples or augmenting with new instances, has been increasingly used to improve model training. Previous work has studied various rule- or learning-based approaches designed for specific types of data manipulation. In this work, we propose a new method that supports learning different manipulation schemes with the same gradient-based algorithm. Our approach builds upon a recent connection of supervised learning and reinforcement learning (RL), and adapts an off-the-shelf reward learning algorithm from RL for joint data manipulation learning and model training. Different parameterization of the "data reward" function instantiates different manipulation schemes. We showcase data augmentation that learns a text transformation network, and data weighting that dynamically adapts the data sample importance. Experiments show the resulting algorithms significantly improve the image and text classification performance in low data regime and class-imbalance problems.

研究动机与目标

• 促成自动化数据操控，以在低数据和不平衡设置中提升学习效果。
• 提出一个统一的基于奖励的框架，对数据操控进行参数化。
• 展示文本增强和数据加权的实例化。
• 在文本和图像任务上展示相对于强基线的经验改进。
• 强调扩展到其他操控方案的灵活性。

提出的方法

• 将数据操控表述为参数化奖励 R_phi(x,y|D)，用于修改监督学习目标。
• 使用类似 EM 的基于梯度的奖励学习，联合更新模型参数 theta 和操控参数 phi。
• 通过学习一个文本增强网络来增强数据，该网络在标签条件下替换单词。
• 通过对训练样本分配学习得到的每样本权重 phi 来学习数据加权。
• 在保留集上对操控参数进行优化以最大化最终外在性能。
• 提供一个统一的算法（Algorithm 1），交替更新 theta（Eq. 7）和 phi（Eq. 8）。

实验结果

研究问题

• RQ1 一个单一的梯度框架是否可以通过奖励参数化来支持多种数据操控方案？
• RQ2 在文本和图像分类的低数据和不平衡设置中，学习到的增强和加权是否能提升性能？
• RQ3 在实际应用中，操控如何与大型预训练模型（如 BERT、ResNet）相互作用？
• RQ4 在不同任务和数据条件下，增强与加权各自的优势有哪些？

主要发现

模型	SST-5 (40+2)	IMDB (40+5)	TREC (40+5)
基线模型: BERT	33.32±4.04	63.55±5.35	88.25±2.81
基线模型 + 验证数据	35.86±3.03	63.65±3.32	88.42±4.90
增强: 同义词	32.45±4.59	62.68±3.94	88.26±2.76
固定增强 [49]	34.84±2.76	63.65±3.21	88.28±4.50
本方法：微调增强	37.03±2.05	65.62±3.32	89.15±2.41

• 通过参数化奖励进行数据操控在准确性上显著优于基线模型和先前的操控方法。
• 微调文本增强在低数据文本任务中始终优于固定增强和同义词基础方法。
• 数据加权在基线之上带来改进，并在极端类别不平衡下超越了最近的再加权方法。
• 在低数据场景中，增强更有帮助；而在标签不平衡时，加权效果更好。
• 统一框架在 SST-5、IMDB、TREC（文本）和 CIFAR-10 with ResNet-34（图像）上实现了增益。