[论文解读] Evolution of transfer learning in natural language processing

Aditya Malte, Pratik Ratadiya|arXiv (Cornell University)|Oct 16, 2019

Topic Modeling参考文献 18被引用 17

一句话总结

本综述追溯了自然语言处理中迁移学习的演进历程，重点介绍了 BERT、GPT、ELMo、ULMFiT、Transformer-XL 和 XLNet 等关键架构。它解释了如何通过在大规模语料上进行自监督预训练，再进行微调，从而在各类 NLP 任务中实现最先进性能，其中基于 Transformer 的模型显著提升了长距离依赖建模能力。

ABSTRACT

In this paper, we present a study of the recent advancements which have helped bring Transfer Learning to NLP through the use of semi-supervised training. We discuss cutting-edge methods and architectures such as BERT, GPT, ELMo, ULMFit among others. Classically, tasks in natural language processing have been performed through rule-based and statistical methodologies. However, owing to the vast nature of natural languages these methods do not generalise well and failed to learn the nuances of language. Thus machine learning algorithms such as Naive Bayes and decision trees coupled with traditional models such as Bag-of-Words and N-grams were used to usurp this problem. Eventually, with the advent of advanced recurrent neural network architectures such as the LSTM, we were able to achieve state-of-the-art performance in several natural language processing tasks such as text classification and machine translation. We talk about how Transfer Learning has brought about the well-known ImageNet moment for NLP. Several advanced architectures such as the Transformer and its variants have allowed practitioners to leverage knowledge gained from unrelated task to drastically fasten convergence and provide better performance on the target task. This survey represents an effort at providing a succinct yet complete understanding of the recent advances in natural language processing using deep learning in with a special focus on detailing transfer learning and its potential advantages.

研究动机与目标

• 提供自然语言处理中迁移学习发展进程的全面概述。
• 分析自监督预训练与微调在提升 NLP 模型性能中的作用。
• 研究架构创新（如 Transformer、相对位置编码和基于排列的预训练）在建模长距离依赖关系方面的贡献。
• 评估现代 NLP 模型在性能、计算成本与可解释性之间的权衡。
• 识别预训练模型中的开放性挑战，包括缺乏标准化基准以及难以将性能提升归因于架构改进还是数据规模扩大。

提出的方法

• 综述基础 NLP 方法，从基于规则的系统和统计模型（如朴素贝叶斯、支持向量机）到 RNN 和 LSTM。
• 详述向自监督预训练的转变，通过语言建模目标实现，使用 BookCorpus、Wikitext 和 1B Word 等数据集。
• 介绍 Transformer 架构及其注意力机制作为实现可扩展、可并行化序列建模的核心推动力。
• 解释 Transformer-XL 中相对位置编码的创新，以在循环和长序列建模中保持序列上下文。
• 描述 XLNet 的广义自回归预训练方法，通过使用序列的所有排列来预测掩码标记，克服了 BERT 的双向掩码限制。
• 分析将 Transformer-XL 集成到 XLNet 中，以提升长距离依赖建模能力，并在机器阅读理解等任务中取得更优性能。

实验结果

研究问题

• RQ1 从基于规则和统计的 NLP 方法向深度学习模型的转变，如何提升了语言理解能力？
• RQ2 哪些关键的架构创新使迁移学习在 NLP 中变得有效，特别是在建模长距离依赖关系方面？
• RQ3 与绝对位置嵌入相比，Transformer-XL 中的相对位置编码如何实现更优的序列建模？
• RQ4 XLNet 的基于排列的预训练在哪些方面克服了 BERT 的掩码语言建模局限性？
• RQ5 现代预训练 NLP 模型在性能、计算成本与可解释性之间存在哪些权衡？

主要发现

• 通过在大规模语料上进行自监督预训练，NLP 中的迁移学习已成为主导范式，显著提升了多样化 NLP 任务的性能。
• Transformer-XL 通过使用缓存隐藏状态和相对位置编码，在 enwiki8 和 text8 上实现了最先进结果，有效建模了长距离依赖。
• XLNet 在 18 项 NLP 任务中优于 BERT，尤其在机器阅读理解任务中表现突出，这得益于其基于排列的预训练方式与对 Transformer-XL 的整合。
• BERT 在预训练（使用 [MASK] 标记）与微调之间存在不一致，导致性能未达最优，而 XLNet 通过建模序列的所有排列解决了该问题。
• 尽管性能有所提升，但 BERT、XLNet 和 Transformer-XL 等大模型需要大量计算资源，且缺乏可解释性，引发了其在实际部署中的担忧。
• 缺乏标准的预训练数据集，使得难以判断性能提升是源于架构创新还是单纯的数据规模扩大，凸显了建立基准标准化的迫切需求。