[论文解读] Improving a tf-idf weighted document vector embedding

Craig W. Schmidt|arXiv (Cornell University)|Feb 26, 2019

Topic Modeling参考文献 8被引用 12

一句话总结

本文通过优化相对于语料库的词频差异加权词向量和，结合逆文档频率（idf）加权与主成分分析（PCA）后处理，提出改进的文档嵌入方法。idf-delta-pca方法在TripAdvisor评论数据集上优于doc2vec，在CQADupStack数据集上表现具有竞争力，尤其在长文档上优势明显，且PCA处理始终能提升性能。

ABSTRACT

We examine a number of methods to compute a dense vector embedding for a document in a corpus, given a set of word vectors such as those from word2vec or GloVe. We describe two methods that can improve upon a simple weighted sum, that are optimal in the sense that they maximizes a particular weighted cosine similarity measure. We consider several weighting functions, including inverse document frequency (idf), smooth inverse frequency (SIF), and the sub-sampling function used in word2vec. We find that idf works best for our applications. We also use common component removal proposed by Arora et al. as a post-process and find it is helpful in most cases. We compare these embeddings variations to the doc2vec embedding on a new evaluation task using TripAdvisor reviews, and also on the CQADupStack benchmark from the literature.

研究动机与目标

• 开发一种比简单加权词向量和更有效的文档嵌入方法。
• 探究通过文档词频与语料库词频的偏差优化文档向量，是否能提升语义相似度。
• 评估不同加权函数（idf、SIF与子采样）对文档嵌入质量的影响。
• 评估常用成分去除（PCA后处理）在提升文档向量表示方面的有效性。
• 在真实世界评论数据与标准基准上，将所提方法与doc2vec进行比较。

提出的方法

• 该方法将文档向量计算为词向量的加权和，其中权重由文档词频（tf_i）与语料库词频（tf_ic）的差值决定，即 δ_i = tf_i - tf_ic。
• 最优文档向量 u* 通过加权和 δ_i * v_i 的归一化向量获得，利用柯西-施瓦茨不等式确保单位范数并最大化余弦相似度。
• 评估了三种加权函数：逆文档频率（idf）、平滑逆频率（SIF）与word2vec子采样；结果表明idf表现最佳。
• 应用PCA后处理步骤，从文档向量中去除第一主成分，遵循Arora等人提出的常用成分去除技术。
• 该方法以两种形式实现：'center'（使用固定的语料加权平均）与'delta'（使用文档特定的偏差），均包含与不包含PCA处理。
• 在新的TripAdvisor评论基准与CQADupStack数据集上，采用ROC AUC评估重复问题检测性能。

实验结果

研究问题

• RQ1 是否使用文档词频与语料库词频的差异作为权重，能够提升文档向量的质量？
• RQ2 在idf、SIF与子采样三种加权函数中，哪一种对文档嵌入性能最佳？
• RQ3 基于PCA的常用成分去除在提升文档向量相似度方面效果如何？
• RQ4 文档长度如何影响不同嵌入策略的性能？
• RQ5 所提方法是否能在真实世界评论数据与标准基准上超越doc2vec？

主要发现

• 在文档长度超过300词的TripAdvisor评论基准上，idf-delta-pca方法表现最佳，优于doc2vec与其他变体。
• 对于较短文档（每处地点1–9篇评论），idf-sum-pca方法表现最优，性能在每文档1–2篇时达到峰值。
• 当使用PCA时，idf-center-pca方法在文档长度低于450词时表现最优，而idf-delta-pca在长文档中表现最佳。
• PCA后处理步骤始终提升了sum与delta方法的性能，但对center方法效果不一。
• 单位和基线（未加权和）显著低于所有其他方法，证实了合理加权的必要性。
• 在CQADupStack基准上，doc2vec在4个论坛中表现最佳，idf-delta-pca在5个论坛中表现最佳，idf-center-pca在2个论坛中表现最佳，显示出在多样化论坛中的强大竞争力。