[论文解读] Recent Trends in Deep Learning Based Natural Language Processing

Tom Young, Devamanyu Hazarika+2 more|arXiv (Cornell University)|Aug 9, 2017

Topic Modeling参考文献 156被引用 1,254

一句话总结

本综述回顾了 NLP 领域的主要深度学习模型和方法，包括词嵌入、CNN、RNN、上下文嵌入、注意力、记忆、强化学习以及无监督方法，概述它们的演化及未来方向。

ABSTRACT

Deep learning methods employ multiple processing layers to learn hierarchical representations of data and have produced state-of-the-art results in many domains. Recently, a variety of model designs and methods have blossomed in the context of natural language processing (NLP). In this paper, we review significant deep learning related models and methods that have been employed for numerous NLP tasks and provide a walk-through of their evolution. We also summarize, compare and contrast the various models and put forward a detailed understanding of the past, present and future of deep learning in NLP.

研究动机与目标

• 通过突出手工特征的局限性以及高维稀疏表示，推动 NLP 中从浅层模型向深度学习的转变。
• 概述分布式表示及其在各任务中对 NLP 性能的影响。
• 回顾核心深度学习架构（CNN、RNN、递归网络）及其在 NLP 中的应用，包括记忆与注意力机制。
• 讨论无监督预训练、上下文嵌入和迁移学习在 NLP 任务中的最新趋势。
• 提供前瞻性视角，阐明这些趋势如何塑造 NLP 研究与实践的未来。

提出的方法

• 描述分布式表示范式及词嵌入的基础。
• 解释 Word2Vec（CBOW 与 Skip-gram）及其对语义相似性与组合性的影响。
• 讨论字符嵌入及其在形态丰富语言和处理未登录词（OOV）方面的优势。
• 介绍上下文嵌入（ELMo）以及从全局到上下文敏感词表示的转变。
• 总结预训练语言模型与迁移学习（OpenAI-GPT、BERT）及其下游影响。
• 回顾用于多种 NLP 任务的 CNN、RNN 与递归架构及其演化，包括注意力和记忆增强方法。

实验结果

研究问题

• RQ1 哪些主要的深度学习模型和架构塑造了 NLP 任务？
• RQ2 上下文嵌入和预训练语言模型如何影响 NLP 的性能与迁移学习？
• RQ3 CNN、RNN 和递归网络在不同 NLP 任务中的优缺点是什么？
• RQ4 当前 DL 在 NLP 趋势所提示的未来方向和开放挑战有哪些？

主要发现

• 词嵌入（Word2Vec、GloVe）建立了支撑许多 NLP 任务的分布式表示。
• 上下文嵌入（ELMo，随后是 BERT/transformers）提供句子级和任务特定的表示，从而提升性能。
• CNN 在句子建模和多种 NLP 任务中开创了有效的 n-gram 特征提取。
• RNN 及其变体（LSTM、GRU）使语言数据的序列相关性建模成为可能。
• 预训练语言模型与迁移学习（OpenAI-GPT、BERT）实现了无监督的预训练和对多样 NLP 任务的微调。
• 本综述强调记忆增强模型、注意力机制、强化学习以及无监督句子表示学习等重要趋势。