[论文解读] Bridging the Gap: a Semantic Similarity Measure between Queries and Documents

Sun Kim, W. John Wilbur+1 more|arXiv (Cornell University)|Aug 5, 2016

Topic Modeling参考文献 47被引用 8

一句话总结

本文提出了一种基于词嵌入的新型查询-文档相似度度量方法，该方法利用词移位距离（Word Mover's Distance, WMD）捕捉查询与文档之间的语义关系。该方法在 TREC 和 PubMed 基准测试中优于 BM25，通过利用语义相近的词语实现性能提升，且在与 BM25 结合后进一步增强性能，表明其在词汇重叠较低的情况下仍能有效识别相关文档。

ABSTRACT

The main approach of traditional information retrieval (IR) is to examine how many words from a query appear in a document. A drawback of this approach, however, is that it may fail to detect relevant documents where no or only few words from a query are found. The semantic analysis methods such as LSA (latent semantic analysis) and LDA (latent Dirichlet allocation) have been proposed to address the issue, but their performance is not superior compared to common IR approaches. Here we present a query-document similarity measure motivated by the Word Mover's Distance. Unlike other similarity measures, the proposed method relies on neural word embeddings to calculate the distance between words. Our method is efficient and straightforward to implement. The experimental results on TREC and PubMed show that our approach provides significantly better performance than BM25. We also discuss the pros and cons of our approach and show that there is a synergy effect when the word embedding measure is combined with the BM25 function.

研究动机与目标

• 解决传统信息检索方法仅依赖词汇匹配而无法在查询与文档共享极少共现词汇时有效工作的局限性。
• 通过神经网络词嵌入表示语义词语，提升文档检索性能。
• 开发一种高效且可实现的相似度度量方法，超越关键词共现关系，捕捉语义相似性。
• 在基准数据集上，将所提方法与 BM25 和 LDA/LSA 等标准信息检索基线方法进行对比评估。
• 探究基于嵌入的相似度度量方法与传统信息检索函数（如 BM25）之间的潜在协同效应。

提出的方法

• 该方法使用预训练的神经网络词嵌入将词语表示为连续向量空间中的向量，以捕捉其语义含义。
• 应用词移位距离（WMD）计算将查询词语分布转换为文档词语分布所需的最小'距离'。
• WMD 计算为将查询中的词语移动到文档中最近邻词语所需的最小累积距离，该距离按词语频率加权。
• 所得的 WMD 分数作为查询与文档之间的语义相似度度量。
• 通过加权和的方式将该方法与 BM25 结合，以探索混合检索性能。
• 在 TREC 和 PubMed 数据集上，使用标准信息检索评估指标对方法进行评估。

实验结果

研究问题

• RQ1 基于词嵌入的语义相似度度量方法是否能在文档检索中超越仅依赖词汇匹配的传统方法（如 BM25）？
• RQ2 在查询与文档之间词汇重叠较低的情况下，词移位距离在捕捉查询与文档之间语义相似性方面的有效性如何？
• RQ3 将所提出的基于嵌入的相似度度量方法与 BM25 结合，是否能带来优于单独使用任一方法的检索性能提升？
• RQ4 与已建立的语义信息检索方法（如 LSA 和 LDA）相比，所提方法的性能表现如何？
• RQ5 在信息检索场景中使用 WMD 与词嵌入的计算与实际权衡是什么？

主要发现

• 所提出的基于 WMD 的相似度度量方法在 TREC 和 PubMed 基准数据集上显著优于 BM25。
• 即使查询与文档之间的词汇重叠极少，该方法在检索相关文档方面仍表现出优越性能。
• 将基于 WMD 的度量方法与 BM25 结合后产生协同效应，使性能进一步优于单独使用任一方法。
• 使用神经网络词嵌入与 WMD 的方法实现高效且简单，适用于实际信息检索系统。
• 所提方法的性能优于 LSA 和 LDA，后者曾被视为最先进的语义信息检索技术。
• 结果证实，通过词嵌入实现的语义相似度提供了比传统基于关键词或主题模型的方法更稳健的检索机制。