[论文解读] Low Resource Text Classification with ULMFit and Backtranslation

Sam Shleifer|arXiv (Cornell University)|Mar 21, 2019

Topic Modeling参考文献 10被引用 43

一句话总结

该论文表明，在低资源环境下，基于 ULMFit 的文本分类中，backtranslation显著提升性能，而 token perturbations 不；在全量数据条件下，数据增强的收益有限，但测试时增强和集成提供了小幅增益。

ABSTRACT

In computer vision, virtually every state-of-the-art deep learning system is trained with data augmentation. In text classification, however, data augmentation is less widely practiced because it must be performed before training and risks introducing label noise. We augment the IMDB movie reviews dataset with examples generated by two families of techniques: random token perturbations introduced by Wei and Zou [2019] and backtranslation -- translating to a second language then back to English. In low resource environments, backtranslation generates significant improvement on top of the state of-the-art ULMFit model. A ULMFit model pretrained on wikitext103 and then fine-tuned on only 50 IMDB examples and 500 synthetic examples generated by backtranslation achieves 80.6% accuracy, an 8.1% improvement over the augmentation-free baseline with only 9 minutes of additional training time. Random token perturbations do not yield any improvements but incur equivalent computational cost. The benefits of training with backtranslated examples decreases with the size of the available training data. On the full dataset, neither augmentation technique improves upon ULMFit's state of the art performance. We address this by using backtranslations as a form of test time augmentation as well as ensembling ULMFit with other models, and achieve small improvements.

研究动机与目标

• 在低标注数据条件下推动鲁棒的文本分类。
• 评估低资源环境中NLP的数据增强策略（backtranslation和token perturbations）。
• 评估回译与像ULMFit这样的预训练语言模型之间的交互。
• 探索测试时增强和集成，以在全数据集上挽回数据增强的收益。

提出的方法

• 采用三阶段训练的ULMFit体系结构（在wikitext-103上预训练，在IMDB上进行领域内微调，以及分类器微调）。
• 用跨多语言的backtranslation以及遵循 Wei and Zou (2019) 的令牌扰动来扩充训练数据。
• 在低资源条件下，对不同训练集规模（例如50与1000个样本）比较数据增强的效果。
• 尝试将backtranslation用作测试时增强（TTA）以及与其他模型的集成。
• 可选讨论虚拟对抗训练（VAT）及其在消融中的影响。
• 报告在全数据上与原始发表指标的复现结果。

实验结果

研究问题

• RQ1 在低资源条件下，backtranslation是否能改善基于ULMFit的情感分类？
• RQ2 在使用ULMFit时，token perturbation 技术是否相对于无增强的基线提供收益？
• RQ3 数据增强的收益如何随训练数据规模变化？在全数据集上是否仍存在？
• RQ4 回译能否被用作测试时增强和集成，以在全数据上带来额外的改进？

主要发现

• 回译在低资源环境下相对于无增强的ULMFit产生显著提升，尤其是在标注示例非常少的情况下。
• 令牌扰动方法在低资源环境下对基线几乎没有改进。
• 随着数据规模增大（趋近全IMDB数据集），数据增强带来的收益会减小甚至消失。
• 将回译样本用于测试时增强（TTA）和集成，在全数据集上带来微小的增益。
• 对语言模型进行预训练主导了数据增强的收益；当存在强大的预训练表示时，数据增强的收益较小。