[论文解读] Exploring Transformers in Natural Language Generation: GPT, BERT, and XLNet

M. Onat Topal, Anil Bas+1 more|arXiv (Cornell University)|Feb 16, 2021

Topic Modeling被引用 57

一句话总结

本文综述了三大基于 Transformer 的模型（GPT、BERT、XLNet）及其对自然语言生成的影响，强调相较于 RNN/LSTM 架构的优势以及从诗歌生成到摘要等潜在应用。

ABSTRACT

Recent years have seen a proliferation of attention mechanisms and the rise of Transformers in Natural Language Generation (NLG). Previously, state-of-the-art NLG architectures such as RNN and LSTM ran into vanishing gradient problems; as sentences grew larger, distance between positions remained linear, and sequential computation hindered parallelization since sentences were processed word by word. Transformers usher in a new era. In this paper, we explore three major Transformer-based models, namely GPT, BERT, and XLNet, that carry significant implications for the field. NLG is a burgeoning area that is now bolstered with rapid developments in attention mechanisms. From poetry generation to summarization, text generation derives benefit as Transformer-based language models achieve groundbreaking results.

研究动机与目标

• 解释 Transformer 如何克服 NLG 中的梯度消失与序列处理限制。
• 比较 GPT、BERT 和 XLNet 及其对文本生成任务的含义。
• 突出注意力机制如何推动诗歌生成、摘要以及相关 NLG 任务的进展。

提出的方法

• 讨论注意力机制的演化以及基于 Transformer 的 NLG 模型的兴起。
• 描述 GPT、BERT 和 XLNet 通过其架构对文本生成的影响。
• 论证基于 Transformer 的模型在并行化和长距离依赖方面的影响。

实验结果

研究问题

• RQ1 GPT、BERT 和 XLNet 影响自然语言生成的关键特性有哪些？
• RQ2 基于 Transformer 的模型如何解决 RNN/LSTMs 在 NLG 任务中的局限？
• RQ3 这些模型在诗歌生成、摘要等应用中的实际意义是什么？

主要发现

• 基于 Transformer 的模型对自然语言生成具有重大意义。
• 注意力机制实现了更高效的并行化并处理长距离依赖。
• 在这些模型的背景下，诗歌生成、摘要和其他 NLG 任务有广泛的应用。