[论文解读] Document Embedding with Paragraph Vectors

Andrew M. Dai, Christopher Olah+1 more|arXiv (Cornell University)|Jul 29, 2015

Topic Modeling参考文献 5被引用 266

一句话总结

本文提出段落向量（Paragraph Vectors），一种基于神经网络的方法，通过结合文档级记忆向量与词嵌入，学习整个文档的密集分布式表示。该方法在捕捉维基百科和arXiv文章之间的语义相似性方面优于LDA和词袋模型，在100维时表现最佳，并能执行类似word2vec的有意义向量运算。

ABSTRACT

Paragraph Vectors has been recently proposed as an unsupervised method for learning distributed representations for pieces of texts. In their work, the authors showed that the method can learn an embedding of movie review texts which can be leveraged for sentiment analysis. That proof of concept, while encouraging, was rather narrow. Here we consider tasks other than sentiment analysis, provide a more thorough comparison of Paragraph Vectors to other document modelling algorithms such as Latent Dirichlet Allocation, and evaluate performance of the method as we vary the dimensionality of the learned representation. We benchmarked the models on two document similarity data sets, one from Wikipedia, one from arXiv. We observe that the Paragraph Vector method performs significantly better than other methods, and propose a simple improvement to enhance embedding quality. Somewhat surprisingly, we also show that much like word embeddings, vector operations on Paragraph Vectors can perform useful semantic results.

研究动机与目标

• 在情感分析之外的文档相似性任务（如维基百科和arXiv文章检索）中评估段落向量的性能。
• 比较段落向量与LDA和词袋等成熟方法在性能和超参数变化下的鲁棒性。
• 探究对段落向量执行向量运算是否能产生语义上有意义的结果，类似于word2vec。
• 探索联合训练词嵌入对段落向量质量的影响。

提出的方法

• 段落向量使用分布式词袋模型，将特定于文档的记忆向量与局部词向量拼接，以预测序列中的下一个词。
• 通过随机梯度下降联合训练文档向量和词嵌入，目标是优化下一个词的预测。
• 推理阶段仅使用文档向量，训练后丢弃词向量和分类器参数。
• 该方法采用层次化Softmax并结合Huffman树以实现高效训练，并使用余弦相似度衡量文档相似性。
• 作者提出一种变体，联合训练词嵌入与段落向量，从而提升最终表示的质量。
• 实验采用t-SNE可视化和基于三元组的评估方法，测量维基百科和arXiv语料库中的语义相似性。

实验结果

研究问题

• RQ1 段落向量在捕捉长文档之间语义相似性方面，与LDA和词袋模型相比表现如何？
• RQ2 段落向量的性能是否显著受嵌入维度影响，是否存在最优维度？
• RQ3 对段落向量执行向量运算是否能产生语义上有意义的结果，例如在不同语言中找到等价文章？
• RQ4 联合训练词嵌入是否能提升段落向量的质量？
• RQ5 段落向量和LDA对超参数（如嵌入大小或主题数量）变化的敏感性如何？

主要发现

• 在100维时，段落向量在arXiv三元组数据集上达到85.0%的准确率，与表现最佳的LDA配置相当。
• 在所有测试的嵌入尺寸下，段落向量在维基百科文章的语义相似性任务中均优于LDA。
• 该方法在嵌入维度上表现出一致性能，峰值出现在100维，且对尺寸变化的敏感性低于LDA对主题数量变化的敏感性。
• 对段落向量执行向量运算产生了有意义的结果，例如识别出“Lady Gaga”的日文等价物，或找到如《Distributed Representations of Sentences and Documents》等相关论文。
• 联合训练词嵌入与段落向量显著提升了嵌入质量。
• 该方法成功检索到维基百科和arXiv中的相关文章，证明其在本地和非本地语料导航中的实用性。