[论文解读] An Empirical Evaluation of doc2vec with Practical Insights into Document Embedding Generation

Jey Han Lau, Timothy Baldwin|arXiv (Cornell University)|Jul 18, 2016

Natural Language Processing Techniques被引用 10

一句话总结

本文对doc2vec进行了严格的实证评估，表明更简单的dbow变体在多个任务中均优于dmpv。研究发现，当在大型外部语料上进行训练并结合预训练词嵌入时，doc2vec可实现最先进性能，提供了实用的超参数建议，并公开了代码和模型以确保可复现性。

ABSTRACT

Recently, Le and Mikolov (2014) proposed doc2vec as an extension to word2vec (Mikolov et al., 2013a) to learn document-level embeddings. Despite promising results in the original paper, others have struggled to reproduce those results. This paper presents a rigorous empirical evaluation of doc2vec over two tasks. We compare doc2vec to two baselines and two state-of-the-art document embedding methodologies. We found that doc2vec performs robustly when using models trained on large external corpora, and can be further improved by using pre-trained word embeddings. We also provide recommendations on hyper-parameter settings for general purpose applications, and release source code to induce document embeddings using our trained doc2vec models.

研究动机与目标

• 解决关于doc2vec性能的相互矛盾报告，明确dbow与dmpv哪个更优。
• 探究超参数调优和预训练词嵌入是否能提升doc2vec性能。
• 评估doc2vec相较于词向量平均法和n-gram基线方法的有效性。
• 确定doc2vec是否可作为类似word2vec的可靠即插即用文档嵌入方法。
• 为在真实NLP应用中部署doc2vec提供实用且基于实证的建议。

提出的方法

• 作者在两个外部任务上评估doc2vec：句子相似度（STS）和社区问答（Q-Dup）。
• 他们将doc2vec（dbow和dmpv）与两种基线方法进行比较：词向量平均法和n-gram模型。
• 他们使用领域内数据和大型外部语料（如Wikipedia、AP News）训练doc2vec模型，包括使用和不使用预训练词嵌入两种情况。
• 对于超参数调优，他们使用开发集优化窗口大小、向量维度和负采样率。
• 他们使用t-SNE可视化定性分析文档嵌入如何与内容词和功能词对齐。
• 他们公开了训练好的模型和源代码，以支持复现和实际部署。

实验结果

研究问题

• RQ1 在文档级任务中，doc2vec相较于词向量平均法和n-gram基线方法的表现如何？
• RQ2 在文档嵌入生成中，dbow与dmpv哪个变体更有效？
• RQ3 通过超参数调优和使用预训练词嵌入能否提升性能？
• RQ4 在大型外部语料上进行训练是否能增强doc2vec的泛化能力和鲁棒性？
• RQ5 doc2vec能否作为可靠的即插即用文档嵌入方法使用？

主要发现

• 在所有评估任务中，包括STS和Q-Dup，doc2vec的dbow变体始终优于dmpv。
• 当在Wikipedia和AP News等大型外部语料上训练时，doc2vec在性能上达到最先进水平，优于两种基线方法和两种SOTA文档嵌入方法。
• 使用来自Wikipedia或AP News的预训练skip-gram词嵌入能显著提升doc2vec在小型领域内数据集上的表现，且未观察到性能下降。
• 超参数调优可减少达到最优性能所需的训练轮数，表明更好的初始化能实现更快收敛。
• t-SNE可视化证实，dbow学习到的文档嵌入更偏向内容词，而远离功能词，这与简单平均法不同。
• 本研究表明，随机初始化的词嵌入会严重降低doc2vec性能，凸显了有意义的词向量初始化的重要性。