[论文解读] BET: A Backtranslation Approach for Easy Data Augmentation in Transformer-based Paraphrase Identification Context

Jean-Philippe Corbeil, Hadi Abdi Ghadivel|arXiv (Cornell University)|Sep 25, 2020

Topic Modeling被引用 14

一句话总结

本文提出BET（基于回译的文本增强），一种简单而有效的数据增强方法，用于提升基于Transformer模型的释义识别性能。通过利用来自不同语系的10种中介语言的Google翻译，BET生成合成释义，显著提升MRPC、Quora和TPC数据集上的性能，在F1和准确率上提升超过3%，尤其在仅100个样本的低资源场景下表现突出。

ABSTRACT

Newly-introduced deep learning architectures, namely BERT, XLNet, RoBERTa and ALBERT, have been proved to be robust on several NLP tasks. However, the datasets trained on these architectures are fixed in terms of size and generalizability. To relieve this issue, we apply one of the most inexpensive solutions to update these datasets. We call this approach BET by which we analyze the backtranslation data augmentation on the transformer-based architectures. Using the Google Translate API with ten intermediary languages from ten different language families, we externally evaluate the results in the context of automatic paraphrase identification in a transformer-based framework. Our findings suggest that BET improves the paraphrase identification performance on the Microsoft Research Paraphrase Corpus (MRPC) to more than 3% on both accuracy and F1 score. We also analyze the augmentation in the low-data regime with downsampled versions of MRPC, Twitter Paraphrase Corpus (TPC) and Quora Question Pairs. In many low-data cases, we observe a switch from a failing model on the test set to reasonable performances. The results demonstrate that BET is a highly promising data augmentation technique: to push the current state-of-the-art of existing datasets and to bootstrap the utilization of deep learning architectures in the low-data regime of a hundred samples.

研究动机与目标

• 解决NLP数据集的泛化能力有限及固定规模问题，尤其是在低资源场景下。
• 探索低成本、可扩展的数据增强技术，以提升基于Transformer模型的性能，而无需依赖大规模标注数据集。
• 研究回译作为数据增强策略在释义识别任务中的有效性。
• 证明BET可在MRPC、Quora和TPC等基准数据集上显著提升模型性能，即使训练数据极少。
• 提供可复现的增强数据集，以支持未来在低资源NLP场景下的研究。

提出的方法

• 使用Google翻译API，通过来自不同语系的10种中介语言执行回译，生成合成释义。
• 采用回译流程：原始句子 → 翻译为中介语言 → 回译回源语言，生成增强后的释义。
• 通过与原始句子的完全匹配来过滤增强样本，以避免重复并保持语义一致性。
• 在原始数据集和增强数据集上分别训练并评估四种Transformer模型——BERT、XLNet、RoBERTa和ALBERT。
• 系统性地评估多种指标在MRPC、Quora和TPC数据集上的表现：准确率、F1、精确率和召回率。
• 在下采样数据集（每类仅100个平衡样本）上进行消融实验，以评估低资源场景下的有效性。

实验结果

研究问题

• RQ1 基于回译的数据增强是否能显著提升基于Transformer模型在释义识别任务中的性能？
• RQ2 BET在低资源场景下（如每类仅100个训练样本）的性能如何？
• RQ3 哪种模型、数据集与中介语言的组合能带来最高的性能提升？
• RQ4 与仅使用单一语言相比，使用来自不同语系的多种中介语言是否能提升数据增强的质量？
• RQ5 在标准NLP基准上，BET与其他数据增强技术相比，性能提升如何？

主要发现

• BET在完整MRPC数据集上的F1分数提升超过3%，准确率同步提高，展现出显著的性能增益。
• 在下采样的Quora数据集（100个样本）上，BET将F1分数从基线的0.524（未增强）提升至0.649（ALBERT使用阿拉伯语作为中介语言），在低资源设置下表现显著。
• TPC数据集表现出最大的边际性能提升，F1提升在某些情况下超过0.2，尤其对BERT和XLNet模型效果显著。
• RoBERTa在下采样的Quora数据集上召回率提升最高（达1.000），但因精确率下降导致F1下降，表明性能指标之间存在权衡。
• 使用多种中介语言（如阿拉伯语、越南语、西班牙语、约鲁巴语、中文）相比单一语言，生成了更具多样性和有效性的增强样本。
• 在低资源场景下，BET将原本失效的模型（如F1=0.0）转变为具备合理性能（F1>0.5）的模型，展现出其在启动低资源NLP应用方面的巨大潜力。