[论文解读] Efficient and Effective Tail Latency Minimization in Multi-Stage Retrieval Systems

Joel Mackenzie, J. Shane Culpepper+4 more|arXiv (Cornell University)|Apr 13, 2017

Information Retrieval and Search Behavior参考文献 58被引用 12

一句话总结

本文提出了一种统一的、基于查询的预测框架，可动态优化早期检索阶段的参数（如候选集大小和索引遍历策略），在保持效果的同时最小化尾部延迟。通过在静态预检索特征和参考列表上使用分位数回归，该框架在 ClueWeb09B 上的 31,000 个查询中实现了 200 毫秒内 99.99% 的响应时间保证，且效果损失极小，优于固定策略在延迟和效率方面的表现。

ABSTRACT

Scalable web search systems typically employ multi-stage retrieval architectures, where an initial stage generates a set of candidate documents that are then pruned and re-ranked. Since subsequent stages typically exploit a multitude of features of varying costs using machine-learned models, reducing the number of documents that are considered at each stage improves latency. In this work, we propose and validate a unified framework that can be used to predict a wide range of performance-sensitive parameters which minimize effectiveness loss, while simultaneously minimizing query latency, across all stages of a multi-stage search architecture. Furthermore, our framework can be easily applied in large-scale IR systems, can be trained without explicitly requiring relevance judgments, and can target a variety of different efficiency-effectiveness trade-offs, making it well suited to a wide range of search scenarios. Our results show that we can reliably predict a number of different parameters on a per-query basis, while simultaneously detecting and minimizing the likelihood of tail-latency queries that exceed a pre-specified performance budget. As a proof of concept, we use the prediction framework to help alleviate the problem of tail-latency queries in early stage retrieval. On the standard ClueWeb09B collection and 31k queries, we show that our new hybrid system can reliably achieve a maximum query time of 200 ms with a 99.99% response time guarantee without a significant loss in overall effectiveness. The solutions presented are practical, and can easily be used in large-scale distributed search engine deployments with a small amount of additional overhead.

研究动机与目标

• 解决多阶段检索系统中尾部延迟查询的问题，尽管平均延迟较低，但会降低用户体验。
• 通过使用参考列表和静态预检索特征，克服训练效果感知效率模型时相关性判断稀缺的问题。
• 开发一种实用且可扩展的解决方案，实现每查询检索参数的优化，以平衡效率与效果。
• 在最小化传递给后续阶段的候选文档数量的同时，提供响应时间的最坏情况性能保证。
• 实现在大规模搜索引擎中部署，且额外计算开销极小。

提出的方法

• 采用基于查询难度预测和静态预检索特征的统一预测框架，以估计对性能敏感的参数（如响应时间、候选集大小和算法激进程度）。
• 使用分位数回归（特别是梯度提升回归树）预测查询响应时间的 99.99 百分位数，从而实现最坏情况延迟保证。
• 通过混合方法整合索引遍历策略（DaaT 与 SaaT）的预测，基于预测性能为每个查询选择最优算法。
• 利用先前运行生成的参考列表训练效果感知模型，无需显式相关性判断，从而实现可扩展的训练。
• 结合效率预测与效果损失最小化，使用 MED-RBP 作为代理指标，在每查询基础上平衡权衡。
• 在混合系统中应用该框架，根据预测的查询难度和性能目标，在固定-k策略（如 Jass、Bmw）与自适应预测之间进行选择。

实验结果

研究问题

• RQ1 如何利用参考列表准确实现早期检索阶段的动态每查询参数预测？
• RQ2 尾部延迟与索引遍历算法之间存在何种关系？该预测框架能否可靠地为第一阶段效率提供最坏情况性能保证？
• RQ3 哪些预测组合能够实现高效的首阶段检索，从而最小化候选集大小和最终阶段重排序的效果损失？

主要发现

• 在 ClueWeb09B 上的 31,000 个查询中，混合系统实现了 200 毫秒内 99.99% 的响应时间保证，仅有 2 个查询超过阈值（分别为 232.4 毫秒和 294.1 毫秒）。
• 与最佳固定策略相比，混合系统将传递给后续阶段的候选文档平均数量减少了 368 个，显著提升了端到端效率。
• 在相同的效果目标下，混合系统的平均和中位数查询响应时间分别比最佳固定系统（Jass 5m）低 20 毫秒和 8.9 毫秒。
• 在保留的 TREC 2009 Web Track 查询上进行的效果度量（NDCG@10、ERR@10、RBP p=0.80）显示，混合系统与理想（uog-ideal）运行之间无统计显著差异（p < 0.05）。
• 预测开销估计为每查询小于 0.75 毫秒，表明该框架的运行时成本极低。
• 在 200 毫秒响应时间预算较紧的情况下，混合方法在减少尾部延迟和最小化候选集大小方面均优于固定策略。