[论文解读] A Survey on Neural Network Language Models

Kun Jing, Jungang Xu|arXiv (Cornell University)|Jun 9, 2019

Natural Language Processing Techniques参考文献 35被引用 44

一句话总结

本论文综述 NNLMs，总结经典的 NNLM 架构（FFNN, RNN, LSTM-RNNLM），并评述改进、语料库、工具包以及未来研究方向。

ABSTRACT

As the core component of Natural Language Processing (NLP) system, Language Model (LM) can provide word representation and probability indication of word sequences. Neural Network Language Models (NNLMs) overcome the curse of dimensionality and improve the performance of traditional LMs. A survey on NNLMs is performed in this paper. The structure of classic NNLMs is described firstly, and then some major improvements are introduced and analyzed. We summarize and compare corpora and toolkits of NNLMs. Further, some research directions of NNLMs are discussed.

研究动机与目标

• 解释从传统的 n-gram 语言模型到 NNLM 的转变，以及分布式表示的动机。
• 总结经典的 NNLM 架构及其相对于 n-gram 的优势。
• 评述在 NNLM 中降低困惑度、提升训练效率以及上下文建模的技术。
• 讨论用于 NNLM 研究与开发的语料库和工具包。
• 指出 NNLM 研究中的开放挑战与未来方向。

提出的方法

• 描述经典 NNLM 架构（FFNNLM、RNNLM、LSTM-RNNLM）及其数学表述。
• 总结改进，例如字符感知模型、因式分解模型、双向模型、缓存和注意力。
• 讨论大词汇表的加速技术（分层 softmax、基于采样的近似、自归一化等）。
• 回顾用于 NNLM 研究的语料库和工具包。
• 概述 NNLM 的未来方向与评估考量。

实验结果

研究问题

• RQ1 NNLM 的核心架构是什么，它们与传统的 n-gram LMs 有何比较？
• RQ2 已经提出了哪些改进来降低困惑度和训练成本？
• RQ3 语料库和工具包如何影响 NNLM 的研究和基准测试？
• RQ4 在 NNLM 发展中识别出的未来方向和挑战是什么？
• RQ5 注意力机制和 Transformer 如何影响 NNLM 的发展？

主要发现

• FFNNLMs 学习分布式词表示以克服维度诅咒，但Limitations 包括固定的上下文窗口和高参数数量。
• RNNLMs，尤其是 LSTM-RNNLMs，在困惑度方面优于 FFNNLMs 和传统 LMs，且 LSTM 解决了长期依赖问题。
• 字符感知模型、因式分解模型、双向模型、缓存和注意力机制在建模、处理 OOV、上下文利用和效率方面提供改进。
• 对于大词汇表，训练效率仍然具挑战性，分层 softmax 和基于采样的方法在不同权衡下提供加速。
• 存在各种用于 NNLM 研究的语料库和工具包，但标准化和统一基准测试仍然需要。