[论文解读] A Survey on Transfer Learning in Natural Language Processing

Zaid Alyafeai, Maged S. Al-shaibani+1 more|arXiv (Cornell University)|May 31, 2020

Topic Modeling参考文献 79被引用 53

一句话总结

本综述回顾了NLP中的迁移学习进展，提出了一个分类体系，并总结了预训练语言模型如何在跨任务和跨领域实现知识转移。

ABSTRACT

Deep learning models usually require a huge amount of data. However, these large datasets are not always attainable. This is common in many challenging NLP tasks. Consider Neural Machine Translation, for instance, where curating such large datasets may not be possible specially for low resource languages. Another limitation of deep learning models is the demand for huge computing resources. These obstacles motivate research to question the possibility of knowledge transfer using large trained models. The demand for transfer learning is increasing as many large models are emerging. In this survey, we feature the recent transfer learning advances in the field of NLP. We also provide a taxonomy for categorizing different transfer learning approaches from the literature.

研究动机与目标

• 由于深度模型的数据与计算限制，推动对NLP中迁移学习的研究。
• 提供用于对NLP迁移学习方法进行分类的分类体系。
• 总结最近基于语言模型的迁移学习进展及其应用。
• 突出用于NLP迁移学习的数据集和评估设置。

提出的方法

• 按照既定分类体系（传导迁移学习与归纳迁移学习）对文献进行综述与分类。
• 描述模型架构（RNN、CNN、基于注意力的Transformer）及其在迁移学习中的作用。
• 提出迁移技术的分类：顺序微调、适配器模块、基于特征的表示，以及零-shot 方法。
• 总结著名的预训练语言模型及其训练目标（LM、MLM、NSP、seq2seq、XL/encoder–decoder 变体）。
• 讨论NLP中常用于迁移学习的数据集与基准数据集（如 SQuAD、GLUE、SuperGLUE）。
• 综合所选研究的发现，将方法映射到迁移设置。

实验结果

研究问题

• RQ1 在NLP任务中，哪些迁移学习范式（传导迁移学习与归纳迁移学习）最有效？
• RQ2 预训练语言模型如何在跨任务和跨领域实现知识转移？
• RQ3 在NLP中用于迁移学习的核心策略有哪些（微调、适配器、特征表示、零-shot）？
• RQ4 哪些数据集和基准最好地体现了NLP迁移学习的进展与局限？

主要发现

• 语言模型已经发展到能够在NLP任务之间实现显著的知识转移。
• 基于Transformer的预训练模型（如 BERT、GPT-2、ELMo、XLNet）定义了多样的迁移能力（单向、双向、掩码、seq2seq、编码器–解码器）。
• 微调、适配器和基于特征的表示是核心的迁移技术，数据效率各不相同。
• 领域自适应和跨语言迁移仍是活跃领域，在低资源语言上取得了显著提升。
• 通用微调和鲁棒的预训练表示在多个NLP基准上达到最新技术水平。
• 长程依赖和上下文表示的改进（例如 Transformer-XL、RoBERTa）提升了迁移性能。