[论文解读] Counterfactual Estimation and Optimization of Click Metrics for Search Engines

Lihong Li, Shunbao Chen+2 more|arXiv (Cornell University)|Mar 7, 2014

Advanced Bandit Algorithms Research参考文献 38被引用 18

一句话总结

本文提出一种基于上下文Bandit的因果推断方法，用于在搜索引擎中实现点击指标的无偏离线评估与优化，无需进行昂贵的A/B测试。通过利用历史搜索日志和反事实估计，该方法能够准确预测在线点击表现，并实现高效的策略优化，在真实搜索引擎场景中表现出色。

ABSTRACT

Optimizing an interactive system against a predefined online metric is particularly challenging, when the metric is computed from user feedback such as clicks and payments. The key challenge is the counterfactual nature: in the case of Web search, any change to a component of the search engine may result in a different search result page for the same query, but we normally cannot infer reliably from search log how users would react to the new result page. Consequently, it appears impossible to accurately estimate online metrics that depend on user feedback, unless the new engine is run to serve users and compared with a baseline in an A/B test. This approach, while valid and successful, is unfortunately expensive and time-consuming. In this paper, we propose to address this problem using causal inference techniques, under the contextual-bandit framework. This approach effectively allows one to run (potentially infinitely) many A/B tests offline from search log, making it possible to estimate and optimize online metrics quickly and inexpensively. Focusing on an important component in a commercial search engine, we show how these ideas can be instantiated and applied, and obtain very promising results that suggest the wide applicability of these techniques.

研究动机与目标

• 为解决由于搜索引擎中用户反馈具有反事实性质，导致在线点击指标难以离线估计的挑战。
• 开发一种无需运行实际A/B测试即可实现无偏搜索策略评估的方法。
• 证明基于真实搜索引擎日志数据的离线策略优化的可行性和有效性。
• 通过用可扩展的离线模拟替代实际A/B测试，减少在线实验的时间和成本。
• 在生产规模的商业搜索引擎环境中验证该方法。

提出的方法

• 将搜索排序优化问题建模为上下文Bandit框架，将用户交互视为在不确定性下的序列决策。
• 应用反事实估计技术，仅使用历史记录的交互数据推断策略的期望点击表现。
• 使用逆概率加权和倾向性评分方法校正日志数据中的选择偏差，实现无偏策略价值估计。
• 利用历史日志训练用户点击模型，以预测在替代策略下的点击概率。
• 将估计的策略价值集成到离线优化循环中，实现对多种排序策略的快速比较。
• 使用商业搜索引擎的真实搜索日志验证该方法，将估计指标与实际A/B测试结果进行对比。

实验结果

研究问题

• RQ1 我们能否仅使用历史日志数据，准确估计搜索引擎策略的在线点击表现？
• RQ2 反事实估计技术能否产生可靠的离线评估结果，并与真实世界的A/B测试结果一致？
• RQ3 基于估计点击指标的离线策略优化在实践中是否能优于NDCG等代理指标？
• RQ4 该方法在真实商业搜索引擎环境中的可扩展性和性能如何？
• RQ5 该方法在多大程度上可以减少搜索引擎开发中对实际A/B测试的需求？

主要发现

• 所提出的反事实估计方法对在线点击指标的离线估计极为准确，与实际A/B测试结果高度一致。
• 该方法成功识别并修正了真实搜索引擎日志中的拼写错误，在点击率和用户满意度方面均优于基线。
• 在某一案例中，新策略正确将搜索词从'umecka'更正为'umcka and zinc'，显著提升了SERP的相关性和用户点击。
• 在另一案例中，策略将'catalina left attorney'更正为'catalina leff attorney'，而基线未能识别该更正。
• 离线优化过程实现了无需实际用户部署的快速、低成本的多策略变体评估。
• 结果表明，反事实估计可作为生产搜索引擎系统中实际A/B测试的可靠替代方案。