[论文解读] A novel model for query expansion using pseudo-relevant web knowledge

Hiteshwar Kumar Azad, Akshay Deepak|arXiv (Cornell University)|Aug 27, 2019

Information Retrieval and Search Behavior参考文献 53被引用 4

一句话总结

该论文提出了一种基于网络知识的新型查询扩展（WKQE）模型，通过利用来自 Google、Bing 和 DuckDuckGo 的伪相关网络内容，生成扩展查询词，从而提升信息检索效果。该模型采用三级加权策略——tf-itf、基于 kNN 的余弦相似度以及相关性评分，显著提升了检索性能，在 FIRE 数据集上，与未扩展查询相比，MAP 提升了 25.89%，GMAP 提升了 30.83%。

ABSTRACT

In the field of information retrieval, query expansion (QE) has long been used as a technique to deal with the fundamental issue of word mismatch between a user's query and the target information. In the context of the relationship between the query and expanded terms, existing weighting techniques often fail to appropriately capture the term-term relationship and term to the whole query relationship, resulting in low retrieval effectiveness. Our proposed QE approach addresses this by proposing three weighting models based on (1) tf-itf, (2) k-nearest neighbor (kNN) based cosine similarity, and (3) correlation score. Further, to extract the initial set of expanded terms, we use pseudo-relevant web knowledge consisting of the top N web pages returned by the three popular search engines namely, Google, Bing, and DuckDuckGo, in response to the original query. Among the three weighting models, tf-itf scores each of the individual terms obtained from the web content, kNN-based cosine similarity scores the expansion terms to obtain the term-term relationship, and correlation score weighs the selected expansion terms with respect to the whole query. The proposed model, called web knowledge based query expansion (WKQE), achieves an improvement of 25.89% on the MAP score and 30.83% on the GMAP score over the unexpanded queries on the FIRE dataset. A comparative analysis of the WKQE techniques with other related approaches clearly shows significant improvement in the retrieval performance. We have also analyzed the effect of varying the number of pseudo-relevant documents and expansion terms on the retrieval effectiveness of the proposed model.

研究动机与目标

• 为解决由短小、模糊的用户查询引发的信息检索中的词汇不匹配问题。
• 通过更有效地捕捉词与词之间的关系以及词与查询的相关性，改进查询扩展效果，超越现有加权模型。
• 探索结合多个搜索引擎（Google、Bing、DuckDuckGo）的伪相关结果作为扩展词来源的有效性。
• 评估伪相关文档数量和扩展词数量变化对检索性能的影响。
• 开发并验证一种混合加权框架，整合 tf-itf、基于 kNN 的相似度和相关性评分，以实现更优的词选择。

提出的方法

• 针对每个用户查询，从三大搜索引擎（Google、Bing、DuckDuckGo）收集前 N 名的网络结果，构建伪相关文档池。
• 从这些排名靠前网页的聚合内容中提取候选扩展词。
• 应用 tf-itf 加权方案，根据词在网页内容中的频率及其逆词频对单个词进行评分。
• 利用基于 k-最近邻（kNN）的余弦相似度识别语义相关的扩展词，建模词与词之间的关系。
• 计算相关性评分，以评估每个扩展词与原始查询整体的匹配程度。
• 将三种加权评分结果合并，对扩展词进行排序并选择最终的扩展词集用于查询重构。

实验结果

研究问题

• RQ1 与单源方法相比，结合多个搜索引擎的网络内容在多大程度上能提升查询扩展的有效性？
• RQ2 所提出的三种加权模型——tf-itf、基于 kNN 的余弦相似度和相关性评分——在提升词相关性和检索性能方面表现如何？
• RQ3 伪相关文档数量和扩展词数量的变化如何影响 WKQE 模型的整体检索有效性？
• RQ4 在标准评估指标下，WKQE 模型与基线方法及最先进查询扩展技术相比表现如何？
• RQ5 所提出的三级加权策略是否能比现有方法更好地捕捉词与词之间以及词与查询之间的关系？

主要发现

• 在 FIRE 数据集上，WKQE 模型相较于未扩展查询，平均平均精度（MAP）提升了 25.89%，GMAP 提升了 30.83%。
• 基于 kNN 的余弦相似度和相关性评分模型在捕捉语义关系方面显著优于单一词频方法。
• 结合三个搜索引擎（Google、Bing、DuckDuckGo）的结果，生成的扩展词在多样性和相关性方面均优于单一引擎。
• 模型性能对扩展词数量敏感，最优效果出现在 15–20 个扩展词之间，超过此范围性能趋于平稳或下降。
• 所提出的 GBDQE 变体（整合了全部三种加权模型）在所有评估指标上均持续优于其他配置和基线方法。
• 案例研究显示，该模型能生成语义连贯且上下文相关的扩展词，例如针对“太空中的生命”这一查询，成功添加了 'nasa'、'mars' 和 'space' 等词。