[论文解读] Back-Translated Task Adaptive Pretraining: Improving Accuracy and Robustness on Text Classification

Junghoon Lee, Jounghee Kim+1 more|arXiv (Cornell University)|Jul 22, 2021

Topic Modeling参考文献 36被引用 6

一句话总结

本文提出回译任务自适应微调（BT-TAPT），通过在任务自适应预训练阶段利用回译进行数据增强，以提升在有限标注数据下的文本分类性能。通过在原始数据和回译数据上进行再预训练，BT-TAPT在低资源和噪声数据集上均表现出更高的准确率与鲁棒性，优于标准微调和任务自适应预训练方法。

ABSTRACT

Language models (LMs) pretrained on a large text corpus and fine-tuned on a downstream text corpus and fine-tuned on a downstream task becomes a de facto training strategy for several natural language processing (NLP) tasks. Recently, an adaptive pretraining method retraining the pretrained language model with task-relevant data has shown significant performance improvements. However, current adaptive pretraining methods suffer from underfitting on the task distribution owing to a relatively small amount of data to re-pretrain the LM. To completely use the concept of adaptive pretraining, we propose a back-translated task-adaptive pretraining (BT-TAPT) method that increases the amount of task-specific data for LM re-pretraining by augmenting the task data using back-translation to generalize the LM to the target task domain. The experimental results show that the proposed BT-TAPT yields improved classification accuracy on both low- and high-resource data and better robustness to noise than the conventional adaptive pretraining method.

研究动机与目标

• 解决在标注数据有限时任务自适应预训练出现的欠拟合问题。
• 提升预训练语言模型在特定下游任务领域的泛化能力。
• 增强模型对各类噪声或扰动输入文本的鲁棒性。
• 探索在预训练阶段而非仅微调阶段使用回译作为数据增强策略的有效性。

提出的方法

• 首先在原始任务数据上执行标准的任务自适应预训练（TAPT）。
• 然后利用英德机器翻译模型，通过回译生成任务数据的改写增强样本。
• 采用核采样（top-p）和束搜索生成多样化但语义保持一致的改写文本。
• 将增强后的数据用于对已进行任务自适应预训练的语言模型进行进一步再预训练。
• 最终模型在标注数据上进行微调，从而同时受益于领域特定数据和多样化改写数据的预训练。
• 该方法在 BERT 和 RoBERTa 模型上，基于六个文本分类数据集进行了评估。

实验结果

研究问题

• RQ1 在预训练阶段使用基于回译的数据增强是否能提升低资源文本分类任务的性能？
• RQ2 与标准微调或 TAPT 相比，BT-TAPT 是否能增强模型对各类输入噪声的鲁棒性？
• RQ3 在高资源和低资源数据集上，BT-TAPT 与标准预训练和 TAPT 在准确率和泛化能力方面相比如何？
• RQ4 基于回译生成的改写文本能否有效扩展任务自适应预训练的领域覆盖范围？

主要发现

• 在全部六个文本分类数据集上，BT-TAPT 的分类准确率均高于标准预训练和 TAPT。
• 在仅含 100 个训练样本的 IMDB 数据集上，BT-TAPT 展现出显著的性能提升，证明其在低资源场景下的有效性。
• BT-TAPT 在全部五类噪声类型上均获得正向准确率增益，包括同义词替换、字符级破坏和不变性测试扰动，而 TAPT 有时反而导致性能下降。
• 对于基于回译的噪声（BT beam 和 BT top-p），BT-TAPT 始终优于 TAPT，准确率增益显著。
• 该方法降低了性能偏差，表明模型稳定性与泛化能力得到提升。
• BT-TAPT 在处理噪声输入方面尤为有效，证实其在真实世界部署场景中的鲁棒性。