[论文解读] AMMUS : A Survey of Transformer-based Pretrained Models in Natural Language Processing

Katikapalli Subramanyam Kalyan, Ajit Rajasekharan+1 more|arXiv (Cornell University)|Aug 12, 2021

Topic Modeling被引用 149

一句话总结

对基于变换器的预训练语言模型（T-PTLMs）在自然语言处理中的全面综述，详细介绍自监督学习、预训练方法、嵌入、架构、下游适应、基准、库及未来方向。

ABSTRACT

Transformer-based pretrained language models (T-PTLMs) have achieved great success in almost every NLP task. The evolution of these models started with GPT and BERT. These models are built on the top of transformers, self-supervised learning and transfer learning. Transformed-based PTLMs learn universal language representations from large volumes of text data using self-supervised learning and transfer this knowledge to downstream tasks. These models provide good background knowledge to downstream tasks which avoids training of downstream models from scratch. In this comprehensive survey paper, we initially give a brief overview of self-supervised learning. Next, we explain various core concepts like pretraining, pretraining methods, pretraining tasks, embeddings and downstream adaptation methods. Next, we present a new taxonomy of T-PTLMs and then give brief overview of various benchmarks including both intrinsic and extrinsic. We present a summary of various useful libraries to work with T-PTLMs. Finally, we highlight some of the future research directions which will further improve these models. We strongly believe that this comprehensive survey paper will serve as a good reference to learn the core concepts as well as to stay updated with the recent happenings in T-PTLMs.

研究动机与目标

• 提供对自监督学习（SSL）及其在 T-PTLMs 中作用的简要概述。
• 解释核心概念：预训练、预训练任务、嵌入以及下游适应方法。
• 引入 T-PTLMs 的分类体系并总结关键基准测试和评估实践。
• 调查用于处理 T-PTLMs 的有用库和工具。
• 强调未来研究方向以引导 T-PTLMs 的持续发展。

提出的方法

• 提出从四个角度（预训练语料、架构、SSL 类型和扩展）对 T-PTLMs 进行的新分类。
• 评述预训练方法（从头预训练、持续预训练、同时预训练、任务自适应预训练、知识继承预训练）。
• 概述预训练任务（例如 CLM、MLM、RTD）和嵌入方案（WordPiece、BPE、SentencePiece），并包括领域特定和多语言的考虑。
• 评述下游适应方法（基于特征、微调、基于提示的微调）以及效率方面的考量。
• 总结内在与外在评估基准，并列出在 T-PTLM 工作中有用的库。
• 讨论未来方向，如效率、鲁棒性、隐私、公平性以及基准开发。

实验结果

研究问题

• RQ1 基于变换器的语言模型的主导预训练范式有哪些？它们在成本和性能上有何差异？
• RQ2 所提出的分类在语料、架构、SSL 类型和扩展等方面如何对 T-PTLMs 进行分类？
• RQ3 标准的下游适应方法有哪些？它们如何影响迁移性能？
• RQ4 哪些基准和库在评估与部署 T-PTLMs 时最相关？未来工作还存在哪些空白？

主要发现

• 该综述在四个维度上整合了 T-PTLMs 的分类：预训练语料、架构、SSL 类型和扩展。
• 它概述了五个预训练方法族（PTS、CPT、SPT、TAPT、KIPT）及其在成本和领域适应方面的权衡。
• 它讨论了广泛的预训练任务（如 CLM、MLM、RTD）和嵌入策略（WordPiece、BPE、SentencePiece），并考虑了领域和多语言因素。
• 它涵盖了下游适应方法（基于特征、微调、基于提示的微调）以及效率方法。
• 它提出了内在和外在评估框架，强调了在 T-PTLM 生态系统中使用的库和工具，并给出未来研究方向。