[论文解读] Efficient Estimation of Word Representations in Vector Space

Tomáš Mikolov, Kai Chen+2 more|arXiv (Cornell University)|Jan 16, 2013

Topic Modeling被引用 18,070

一句话总结

论文提出 CBOW 和 Skip-gram 模型，在非常大的语料库上以较低的计算成本学习高质量的词向量，实现最先进的词相似性结果。

ABSTRACT

We propose two novel model architectures for computing continuous vector representations of words from very large data sets. The quality of these representations is measured in a word similarity task, and the results are compared to the previously best performing techniques based on different types of neural networks. We observe large improvements in accuracy at much lower computational cost, i.e. it takes less than a day to learn high quality word vectors from a 1.6 billion words data set. Furthermore, we show that these vectors provide state-of-the-art performance on our test set for measuring syntactic and semantic word similarities.

研究动机与目标

• 证明简单、可扩展的体系结构可以从海量数据中学习高质量的词向量。
• 保持词向量中的线性规律，以实现代数词关系。
• 在全面的语义-句法相似性测试集上评估词向量。
• 展示向量维度、数据规模和训练时间之间的权衡。
• 展示向量在下游NLP任务和大规模训练中的适用性。

提出的方法

• 提出两种架构：Continuous Bag-of-Words (CBOW) 和 Continuous Skip-gram，具有共享投影层且无隐藏非线性。
• 使用带投影层的对数线性分类器，从上下文预测目标单词（CBOW）或从当前单词预测周围单词（Skip-gram）。
• 通过分层 softmax 来近似全 softmax，降低计算成本，使在大词汇表上的训练更高效。
• 在分布式框架（DistBelief）中使用带 Adagrad 的小批量异步梯度下降训练模型。
• 与循环和 NNLM 基线进行比较，使用大型词相似性测试集合进行评估。
• 通过在数十亿词和大词汇表上的训练来展示可扩展性。

实验结果

研究问题

• RQ1 简单的对数线性模型（CBOW 和 Skip-gram）是否能够从极大语料中学习出高质量的词向量？
• RQ2 CBOW 和 Skip-gram 是否保留线性规律，使向量算术如 king - man + woman = queen 成为可能？
• RQ3 在扩展数据规模和向量维度时，精度与训练时间的权衡是什么？
• RQ4 与先前的神经模型相比，这些向量在语义和句法词关系任务中的表现如何？
• RQ5 分布式训练是否能够在数十亿词的语料上实现实际学习？

主要发现

• CBOW 和 Skip-gram 学习出能够捕捉语义和句法规律的高质量词向量。
• Skip-gram 在语义相似性结果上表现强劲，句法表现与 CBOW 和 NNLM 变体相比具有竞争力。
• CBOW 在句法任务上通常优于 NNLM，而 Skip-gram 在语义方面表现突出。
• 在大规模训练（百万到十亿词）以及更高维度下，精度显著提升，训练时间在合理范围，特别是在 DistBelief 和 Adagrad 下。
• 公开可获得的大规模数据训练向量在语义-句法基准测试中相较于先前基于 NNLM 的向量具有良好表现。
• 词向量运算可以解决关系查询（例如 Paris - France + Italy = Rome），并与人类典型的关系模式保持一致。