[論文レビュー] Efficient and Effective Tail Latency Minimization in Multi-Stage Retrieval Systems

Joel Mackenzie, J. Shane Culpepper+4 more|arXiv (Cornell University)|Apr 13, 2017

Information Retrieval and Search Behavior参考文献 58被引用数 12

ひとこと要約

本論文は、応答遅延の最小化と効果性の維持を両立する統合的でクエリに依存する予測フレームワークを提案する。このフレームワークは、候補集合のサイズやインデックス走査戦略といった初期段階の検索パラメータを動的に最適化することで、尾部遅延（tail latency）を低減する。静的で事前計算された特徴量と参照リストを用いた分位数回帰により、ClueWeb09Bの31,000件のクエリにおいて、200 ms未満で99.99%の応答時間保証を達成し、効果性の損失を最小限に抑えつつ、固定戦略を上回る遅延と効率性の両面で優れた性能を発揮する。

ABSTRACT

Scalable web search systems typically employ multi-stage retrieval architectures, where an initial stage generates a set of candidate documents that are then pruned and re-ranked. Since subsequent stages typically exploit a multitude of features of varying costs using machine-learned models, reducing the number of documents that are considered at each stage improves latency. In this work, we propose and validate a unified framework that can be used to predict a wide range of performance-sensitive parameters which minimize effectiveness loss, while simultaneously minimizing query latency, across all stages of a multi-stage search architecture. Furthermore, our framework can be easily applied in large-scale IR systems, can be trained without explicitly requiring relevance judgments, and can target a variety of different efficiency-effectiveness trade-offs, making it well suited to a wide range of search scenarios. Our results show that we can reliably predict a number of different parameters on a per-query basis, while simultaneously detecting and minimizing the likelihood of tail-latency queries that exceed a pre-specified performance budget. As a proof of concept, we use the prediction framework to help alleviate the problem of tail-latency queries in early stage retrieval. On the standard ClueWeb09B collection and 31k queries, we show that our new hybrid system can reliably achieve a maximum query time of 200 ms with a 99.99% response time guarantee without a significant loss in overall effectiveness. The solutions presented are practical, and can easily be used in large-scale distributed search engine deployments with a small amount of additional overhead.

研究の動機と目的

• 平均遅延は低くてもユーザー体験を損なう尾部遅延クエリの課題に対処すること。
• 効果性に配慮した効率性モデルの学習に必要な関連性判断が不足する問題を、参照リストと静的で事前計算された特徴量を用いることで克服すること。
• 効率性と効果性のバランスを取るために、クエリごとの検索パラメータ最適化を可能にする実用的でスケーラブルなソリューションを開発すること。
• 応答時間の最悪ケース性能保証を提供すると同時に、後続段階に渡される候補文書の数を最小限に抑えること。
• 追加の計算コストを最小限に抑えつつ、大規模検索エンジンへの導入を可能にすること。

提案手法

• クエリの難易度予測と静的で事前計算された特徴量に基づく統合的予測フレームワークを採用し、応答時間、候補集合サイズ、アルゴリズムの攻撃的度合いといった、性能に敏感なパラメータを推定する。
• 分位数回帰（特に勾配ブースティング回帰木）を用いて、クエリ応答時間の99.99百分位数を予測し、最悪ケースの遅延保証を可能にする。
• DaaTとSaaTのインデックス走査戦略の予測をハイブリッドアプローチで統合し、予測されたパフォーマンスに基づいて各クエリに対して最適なアルゴリズムを選択する。
• 過去の実行で得られた参照リストを活用して、明示的な関連性判断を必要とせずに、効果性に配慮したモデルの学習を可能にし、スケーラブルな学習を実現する。
• MED-RBPを代理指標として用いて、クエリごとのトレードオフをバランスさせるために、効率性予測と効果性損失の最小化を統合する。
• 予測されたクエリ難易度とパフォーマンス目標に基づき、固定k戦略（例：Jass, Bmw）とアダプティブ予測の間でハイブリッドシステムが選択する。

実験結果

リサーチクエスチョン

• RQ1 初期段階の検索における動的クエリごとのパラメータ予測を正確に行うために、参照リストをどのように活用すべきか？
• RQ2 尾部遅延とインデックス走査アルゴリズムの関係は何か？また、予測フレームワークは、第一段階の効率性について、信頼性のある最悪ケース性能保証を提供できるか？
• RQ3 どのような予測の組み合わせが、候補集合サイズと最終段階の再ランク付けにおける効果性損失を最小限に抑える効率的な第一段階検索を実現するか？

主な発見

• ハイブリッドシステムは、ClueWeb09Bの31,000件のクエリにおいて、200 ms未満で99.99%の応答時間保証を達成した。しきい値を超えたのはわずか2件（232.4 ms および 294.1 ms）。
• ハイブリッドシステムは、最良の固定戦略よりも平均で368件の候補文書を後続段階に渡すのを減らし、エンドツーエンドの効率性を向上させた。
• 同じ効果性目標下で、ハイブリッドシステムの平均および中央値応答時間は、最良の固定システム（Jass 5m）よりもそれぞれ20 msおよび8.9 ms低かった。
• ホールドアウトされたTREC 2009 Web Trackクエリにおける効果性測定（NDCG@10、ERR@10、RBP p=0.80）では、ハイブリッドシステムと理想（uog-ideal）ランとの間に有意差は認められず、p < 0.05の水準で有意でなかった。
• 予測オーバーヘッドは1クエリあたり0.75 ms未満と推定され、フレームワークの実行時コストが最小限であることが示された。
• ハイブリッドアプローチは、特に200 msの応答時間予算が厳しい状況下で、固定戦略を上回り、尾部遅延の低減と候補集合サイズの最小化の両面で優れた性能を発揮した。