[論文レビュー] Counterfactual Estimation and Optimization of Click Metrics for Search Engines

Lihong Li, Shunbao Chen+2 more|arXiv (Cornell University)|Mar 7, 2014

Advanced Bandit Algorithms Research参考文献 38被引用数 18

ひとこと要約

本稿では、コストの高いA/Bテストを必要とせず、検索エンジンにおけるクリックベースのメトリクスの偏りのないオフライン評価と最適化を可能にする、文脈的バンディットを用いた因果推論アプローチを提案する。歴史的検索ログと反事後推定を活用することで、オンラインクリックパフォーマンスの正確な予測が可能となり、効率的なポリシー最適化が実現される。実世界の検索シナリオにおいて優れた結果を示している。

ABSTRACT

Optimizing an interactive system against a predefined online metric is particularly challenging, when the metric is computed from user feedback such as clicks and payments. The key challenge is the counterfactual nature: in the case of Web search, any change to a component of the search engine may result in a different search result page for the same query, but we normally cannot infer reliably from search log how users would react to the new result page. Consequently, it appears impossible to accurately estimate online metrics that depend on user feedback, unless the new engine is run to serve users and compared with a baseline in an A/B test. This approach, while valid and successful, is unfortunately expensive and time-consuming. In this paper, we propose to address this problem using causal inference techniques, under the contextual-bandit framework. This approach effectively allows one to run (potentially infinitely) many A/B tests offline from search log, making it possible to estimate and optimize online metrics quickly and inexpensively. Focusing on an important component in a commercial search engine, we show how these ideas can be instantiated and applied, and obtain very promising results that suggest the wide applicability of these techniques.

研究の動機と目的

• 検索エンジンにおけるユーザーのフィードバックの反事後性に起因する、オンラインクリックメトリクスのオフライン推定の課題に対処すること。
• ライブA/Bテストを実施せずに検索エンジンポリシーの偏りのない評価を可能にする手法を開発すること。
• 実世界の検索ログデータを用いたオフラインポリシー最適化の実現可能性と有効性を実証すること。
• ライブA/Bテストに代わるスケーラブルなオフラインシミュレーションを導入することで、オンライン実験の時間とコストを削減すること。
• 生産規模の商用検索エンジン環境において、このアプローチを検証すること。

提案手法

• ユーザーの相互作用を不確実性下での逐次的意思決定としてモデル化することで、文脈的バンディットフレームワーク内に検索ランク最適化問題を定式化する。
• 反事後推定技術を適用し、歴史的ログ記録でのみの相互作用を用いて、ポリシーの期待クリックパフォーマンスを推定する。
• 逆確率重み付けと感受性スコアリングを用いて、ログデータにおける選択バイアスを是正し、偏りのないポリシー価値推定を可能にする。
• 歴史的ログ上で学習されたユーザークリックモデルを用いて、代替ポリシー下でのクリック確率を予測する。
• 推定されたポリシー価値をオフライン最適化ループに統合し、複数のランク付けポリシーの迅速な比較を可能にする。
• 商用検索エンジンの実際の検索ログを用いて、推定メトリクスと実際のA/Bテスト結果を比較することで、手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 歴史的ログ記録のみを用いて、検索エンジンポリシーのオンラインクリックパフォーマンスを正確に推定できるか？
• RQ2 反事後推定技術は、実世界のA/Bテスト結果と一致する信頼性の高いオフライン評価を提供できるか？
• RQ3 推定クリックメトリクスに基づくオフラインポリシー最適化は、NDCGのような代理メトリクスを上回る実用的効果を示せるか？
• RQ4 本手法は、実際の商用検索エンジン環境でスケーラブルかつ効果的に動作するか？
• RQ5 このアプローチによって、検索エンジン開発におけるライブA/Bテストの必要性はどの程度減少できるか？

主な発見

• 提案された反事後推定手法は、実際のA/Bテスト結果と非常に近い正確なオンラインクリックメトリクスのオフライン推定を達成した。
• この手法は、実際の検索ログにおけるクエリの綴りミスを効果的に特定・是正し、クリックスルーレートとユーザー満足度の両面でベースラインを上回った。
• ある事例では、新しいポリシーが「umcka and zinc」を「umecka」として正しく是正し、より関連性の高いSERPとユーザーのクリックを実現した。
• 別の事例では、ポリシーが「catalina left attorney」を「catalina leff attorney」に是正したが、ベースラインはこれを認識できなかった。
• オフライン最適化プロセスにより、ライブユーザー配信なしに、複数のポリシー変種を迅速かつ低コストで評価可能となった。
• 結果として、反事後推定が生産環境の検索システムにおいてライブA/Bテストの代替として信頼できるものであることが示された。