[论文解读] Knowledge-based Query Expansion in Real-Time Microblog Search

Runwei Qiang, Feifan Fan+2 more|arXiv (Cornell University)|Mar 13, 2015

Web Data Mining and Analysis参考文献 24被引用 4

一句话总结

本文提出了一种基于知识的查询扩展方法，用于实时微博搜索，利用Freebase推断语境相关的术语以提升查询理解能力。通过在语言模型框架中整合时间证据，该方法显著提升了近期相关微博的排序效果，在TREC微博语料库上通过优化插值和衰减参数，显著优于基线方法。

ABSTRACT

Since the length of microblog texts, such as tweets, is strictly limited to 140 characters, traditional Information Retrieval techniques suffer from the vocabulary mismatch problem severely and cannot yield good performance in the context of microblogosphere. To address this critical challenge, in this paper, we propose a new language modeling approach for microblog retrieval by inferring various types of context information. In particular, we expand the query using knowledge terms derived from Freebase so that the expanded one can better reflect users' search intent. Besides, in order to further satisfy users' real-time information need, we incorporate temporal evidences into the expansion method, which can boost recent tweets in the retrieval results with respect to a given topic. Experimental results on two official TREC Twitter corpora demonstrate the significant superiority of our approach over baseline methods.

研究动机与目标

• 解决由于微博内容简短、非正式而导致的严重词汇不匹配问题。
• 通过从Freebase中引入同义词、显著特征和描述等知识项扩展查询，提升查询理解能力。
• 在查询扩展中整合时间证据，以在实时检索中优先排序近期相关微博。
• 通过在语言模型框架中引入时间先验，建模文档时效性，实现相关性与时效性的平衡。
• 在标准TREC微博测试集上评估该方法，以证明其优于当前最先进的基线方法。

提出的方法

• 利用Freebase识别与查询匹配的相关概念，从别名、显著特征（notable_for）和描述等属性中提取术语。
• 通过基于关联的方法并引入时间先验，从Freebase中选择顶级术语，构建知识查询。
• 对时间证据应用指数衰减函数，其中速率参数 r 控制在伪相关文档中对近期术语的强调程度。
• 使用系数 α 将原始查询与知识查询进行插值，以平衡原始术语与扩展术语的权重。
• 通过基于模型的反馈（SMM）进一步优化查询，利用排名靠前的文档进行优化，受第二个插值系数 β 控制。
• 将时间先验整合到语言模型中，以优先选择发布时间较近的文档，从而提升实时性能。

实验结果

研究问题

• RQ1 基于Freebase的知识查询扩展能否通过缓解词汇不匹配问题，提升微博搜索的检索性能？
• RQ2 在实时微博检索中，整合时间证据如何影响近期相关微博的排序效果？
• RQ3 在多阶段查询扩展框架中，原始查询、知识扩展术语与基于模型的反馈之间应如何实现最优平衡？
• RQ4 不同参数设置（如 r、α、β）如何影响前N名精度与整体相关性（MAP）之间的权衡？
• RQ5 与传统PRF方法相比，Freebase中的知识项是否有助于减少查询扩展中的主题漂移？

主要发现

• 当 r = 0.1 时，所提出的 QEFB 方法在 P@N（1 ≤ N ≤ 30）和 MAP 分数上均实现了高性能且稳定的平衡，优于 QEFBNT 及其他 r 值设置。
• 在第一阶段扩展中设置 α = 0.5 时达到最优性能，优于纯原始查询（α=0）和纯知识查询（α=1）的方法。
• 第二阶段反馈中 β = 0.6 提供了最佳权衡，提升了 P@30 同时保持了较强的 MAP 分数，但当 β > 0.3 时性能开始下降。
• 使用 r = 0.5 显著提升了前5名精度（P@5），但导致 MAP 降低且在 N ≥ 10 时性能下降，表明对时效性的强调过度。
• 该方法在两个官方 TREC 微博测试集上显著优于基线方法，充分证明了其在实时微博检索中的明显优势。
• 知识查询扩展有效捕捉了相关语境，例如将 'water shortage' 关联到 'drought' 和 'Africa'，准确反映了实时用户的信息需求。