[论文解读] A Fast and Simple Algorithm for Training Neural Probabilistic Language Models

Andriy Mnih, Yee Whye Teh|arXiv (Cornell University)|Jun 27, 2012

Natural Language Processing Techniques参考文献 21被引用 311

一句话总结

本文提出了一种基于噪声对比估计（NCE）的快速且简单的神经概率语言模型（NPLM）训练算法，通过将真实目标词与噪声样本进行对比，避免了显式归一化。该方法将训练时间缩短了一个多数量级——使模型训练从数周缩短至数小时——同时在微软研究院句子补全挑战等基准任务上保持或提升了模型性能。

ABSTRACT

In spite of their superior performance, neural probabilistic language models (NPLMs) remain far less widely used than n-gram models due to their notoriously long training times, which are measured in weeks even for moderately-sized datasets. Training NPLMs is computationally expensive because they are explicitly normalized, which leads to having to consider all words in the vocabulary when computing the log-likelihood gradients. We propose a fast and simple algorithm for training NPLMs based on noise-contrastive estimation, a newly introduced procedure for estimating unnormalized continuous distributions. We investigate the behaviour of the algorithm on the Penn Treebank corpus and show that it reduces the training times by more than an order of magnitude without affecting the quality of the resulting models. The algorithm is also more efficient and much more stable than importance sampling because it requires far fewer noise samples to perform well. We demonstrate the scalability of the proposed approach by training several neural language models on a 47M-word corpus with a 80K-word vocabulary, obtaining state-of-the-art results on the Microsoft Research Sentence Completion Challenge dataset.

研究动机与目标

• 解决神经概率语言模型（NPLM）训练时间过长的问题，即使在中等规模数据集上，训练也可能长达数周。
• 克服NPLM似然梯度中显式归一化带来的计算瓶颈，该过程在每一步都需要对整个词汇表求和。
• 开发一种比现有方法（如重要性采样）更快、更稳定的训练算法。
• 实现在大规模语料和大词汇量（如4700万词语料、8万词汇）上可扩展的NPLM训练。
• 在所提方法下，于微软研究院句子补全挑战任务上实现最先进性能。

提出的方法

• 将NPLM中标准的归一化似然目标替换为噪声对比估计（NCE），一种用于估计未归一化分布的技术。
• 通过将每个真实目标词与从预定义噪声分布中抽取的一组噪声样本进行对比来训练模型。
• 采用二分类目标，使模型学习区分真实目标词与噪声，从而避免计算完整的归一化项。
• 通过随机梯度下降优化NCE目标函数，梯度仅需利用真实词和少量噪声样本高效计算。
• 该方法无需重加权或重要性采样校正，简化了训练过程并提高了稳定性。
• 噪声分布通常选择为词汇表上的均匀分布或简单的一元模型，计算开销轻量。

实验结果

研究问题

• RQ1 噪声对比估计能否在不降低性能的前提下显著缩短神经概率语言模型的训练时间？
• RQ2 所提出的基于NCE的训练方法在效率和稳定性方面与重要性采样及其他无归一化方法相比如何？
• RQ3 基于NCE的算法在大规模语言建模任务（如大词汇量和大语料）上的可扩展性如何？
• RQ4 该方法在标准语言建模基准（如Penn Treebank和微软研究院句子补全挑战）上是否能达到竞争性或最先进性能？
• RQ5 NCE方法需要多少噪声样本才能实现稳定且有效的收敛？与重要性采样相比有何差异？

主要发现

• 基于NCE的训练算法使NPLM的训练时间减少了一个多数量级，将原本需数周的训练缩短至数小时。
• 该方法在微软研究院句子补全挑战中实现了最先进性能，优于以往模型。
• 与重要性采样相比，该算法在稳定性和效率上更具优势，实现良好性能所需噪声样本更少。
• 在Penn Treebank语料上，模型在大幅缩短训练时间的同时，仍保持了高语言建模质量（以困惑度衡量）。
• 该方法成功扩展至4700万词语料和8万词汇量的规模，证明了其在大规模NLP应用中的可行性。
• 采用NCE消除了显式归一化的需要，避免了在每一步训练中对整个词汇表求和的计算开销。