[论文解读] Fast Cross-domain Data Augmentation through Neural Sentence Editing

Guillaume Raille, Sandra Djambazovska+1 more|arXiv (Cornell University)|Mar 23, 2020

Topic Modeling参考文献 17被引用 12

一句话总结

本文提出 Edit-Transformer，一种快速、跨领域的神经句子编辑模型，能够从高资源源领域（如 Yelp）学习生成多样且逼真的句子变体，并将其应用于低资源目标领域（如 SST-2、Subj、Amazon）。该模型在训练和推理速度上优于先前方法，显著提升了下游分类性能，且在某些情况下，合成数据的表现优于真实数据。

ABSTRACT

Data augmentation promises to alleviate data scarcity. This is most important in cases where the initial data is in short supply. This is, for existing methods, also where augmenting is the most difficult, as learning the full data distribution is impossible. For natural language, sentence editing offers a solution - relying on small but meaningful changes to the original ones. Learning which changes are meaningful also requires large amounts of training data. We thus aim to learn this in a source domain where data is abundant and apply it in a different, target domain, where data is scarce - cross-domain augmentation. We create the Edit-transformer, a Transformer-based sentence editor that is significantly faster than the state of the art and also works cross-domain. We argue that, due to its structure, the Edit-transformer is better suited for cross-domain environments than its edit-based predecessors. We show this performance gap on the Yelp-Wikipedia domain pairs. Finally, we show that due to this cross-domain performance advantage, the Edit-transformer leads to meaningful performance gains in several downstream tasks.

研究动机与目标

• 通过实现有效的跨领域数据增强，解决低资源 NLP 领域中的数据稀缺问题。
• 克服先前神经编辑模型的局限性，这些模型速度慢且在跨领域设置下表现不佳。
• 开发一种方法，将源领域（如 Yelp）中学到的编辑策略泛化到目标领域（如 Amazon、SST-2），同时保持性能下降最小。
• 通过受控且有意义的句子编辑生成的合成数据，提升下游分类任务的性能。
• 证明 Edit-Transformer 生成的合成数据在某些低数据场景下可超越等量的真实数据。

提出的方法

• Edit-Transformer 用基于 Transformer 的编码器-解码器结构替代神经编辑器的循环结构，从而实现更快的训练和推理速度。
• 通过预测源句子在词元级别上的更改（插入、删除、替换），学习生成句子编辑。
• 在大规模源领域（Yelp 评论）上进行训练，以学习在多样化句子结构中保持一致的编辑策略。
• 在推理阶段，将训练好的模型应用于目标领域的句子，生成合成训练样本。
• 该方法隐式保留了标签语义，因为编辑受到句法和语义连贯性的约束。
• 通过跨领域数据增强进行评估：将合成数据与真实数据结合，微调下游分类器。

实验结果

研究问题

• RQ1 在高资源源领域上训练的神经句子编辑器，能否有效生成对低资源目标领域有用的合成数据？
• RQ2 在数据增强方面，Edit-Transformer 与先前方法相比，在训练和推理速度上有何差异？
• RQ3 Edit-Transformer 生成的合成数据是否能在下游 NLP 分类任务中带来可测量的性能提升？
• RQ4 在低数据场景下，Edit-Transformer 生成的合成数据能否超越等量的真实数据？
• RQ5 为何 Edit-Transformer 在跨领域泛化方面优于以往基于编辑的模型？

主要发现

• 与神经编辑器基线相比，Edit-Transformer 实现了接近三倍的训练速度提升和五倍的推理速度提升。
• 在 Subj 数据集上，使用 Edit-Transformer 生成的合成数据，将准确率从 91.44%（100% 真实数据）提升至 93.06%（每个样本增强两次），超过了将真实数据加倍所带来的性能增益。
• 在 SST-2 数据集上，用 20% 和 50% 的合成样本增强数据，准确率最高提升了 1.15 个百分点，而 100% 真实数据则未见进一步增益。
• 在 Amazon 评论数据集上，即使仅使用原始数据的 1%，将每个样本增强两次，准确率也从 85.75% 提升至 86.87%，且在所有数据比例下均保持一致的性能增益。
• 该方法在跨领域泛化方面表现出色，尽管存在领域差异，合成数据仍能提升多个领域的性能。
• Edit-Transformer 的注意力机制架构在跨领域迁移方面优于基于循环的模型，这从其在 Yelp→SST-2 和 Yelp→Subj 等领域对之间的一致表现中得到验证。