[论文解读] Efficient Diversification of Web Search Results

Gabriele Capannini, Franco Maria Nardini+2 more|arXiv (Cornell University)|May 21, 2011

Data Management and Algorithms参考文献 1被引用 4

一句话总结

本文提出 OptSelect，一种新颖且高度高效的算法，通过检测查询歧义的查询改写模式来实现网页搜索结果的多样化。在 TREC Web 多样化评测任务上，OptSelect 在保持与最先进的方法（如 IASelect 和 xQuAD）相当的有效性的同时，运行速度提高了两个数量级，显著提升了可扩展性，且未牺牲结果多样性。

ABSTRACT

In this paper we analyze the efficiency of various search results diversification methods. While efficacy of diversification approaches has been deeply investigated in the past, response time and scalability issues have been rarely addressed. A unified framework for studying performance and feasibility of result diversification solutions is thus proposed. First we define a new methodology for detecting when, and how, query results need to be diversified. To this purpose, we rely on the concept of "query refinement" to estimate the probability of a query to be ambiguous. Then, relying on this novel ambiguity detection method, we deploy and compare on a standard test set, three different diversification methods: IASelect, xQuAD, and OptSelect. While the first two are recent state-of-the-art proposals, the latter is an original algorithm introduced in this paper. We evaluate both the efficiency and the effectiveness of our approach against its competitors by using the standard TREC Web diversification track testbed. Results shown that OptSelect is able to run two orders of magnitude faster than the two other state-of-the-art approaches and to obtain comparable figures in diversification effectiveness.

研究动机与目标

• 解决现有网页搜索结果多样化方法中对效率和可扩展性关注不足的问题。
• 构建一个统一的框架，用于评估多样化解决方案的性能与可行性。
• 提出一种基于查询改写的新歧义检测方法，以确定何时需要进行多样化处理。
• 设计并评估一种高效多样化算法，在显著降低响应时间的同时保持高有效性。
• 在标准测试平台上，将 OptSelect 与现有最先进方法（IASelect、xQuAD）在效率和有效性方面进行比较。

提出的方法

• 本文提出一种基于查询改写模式的查询歧义检测机制，用于估计查询具有歧义的可能性。
• 提出 OptSelect，一种专为高效率设计的原创多样化算法，采用贪心选择策略并结合优化的数据结构。
• 该方法使用基于得分的排序策略，选择能够最大化多样性同时保持相关性的文档。
• 性能通过 TREC Web 多样化评测任务测试平台进行评估，同时测量有效性（通过标准指标）和响应时间。
• 该框架通过将歧义检测与结果选择解耦，实现了多样化方法的系统性比较。
• OptSelect 采用线性时间近似方法，以减少计算开销，从而实现实时处理。

实验结果

研究问题

• RQ1 如何有效且高效地检测查询歧义，以触发多样化处理？
• RQ2 在网页搜索结果排序中，多样化有效性与计算效率之间的权衡关系如何？
• RQ3 能否设计一种新型多样化算法，在保持高有效性的同时，显著优于现有最先进方法的性能？
• RQ4 在真实工作负载下，不同多样化策略的响应时间与可扩展性如何变化？
• RQ5 在不牺牲结果多样性或相关性的情况下，效率可提升到何种程度？

主要发现

• OptSelect 的运行速度约为 IASelect 和 xQuAD 的 100 倍，响应时间提高了两个数量级。
• 尽管速度极快，OptSelect 在 TREC Web 多样化测试平台上的多样化有效性与 IASelect 和 xQuAD 相当。
• 基于查询改写模式的歧义检测方法能以高精度有效识别出需要多样化的查询。
• 统一框架使得在效率与有效性两个维度上，对多样化方法进行一致且系统化的评估成为可能。
• OptSelect 即使在高负载条件下也能保持强大的多样性性能，展现出卓越的可扩展性。
• 结果证实，可在不损害多样化结果质量的前提下，实现显著的性能提升。