[论文解读] Adapting to the Shifting Intent of Search Queries

Syed Umar, Aleksandrs Slivkins+1 more|arXiv (Cornell University)|Jul 22, 2010

Advanced Bandit Algorithms Research参考文献 21被引用 3

一句话总结

本文提出了一种元算法 bwc，通过结合在线分类与上下文Bandit学习，检测并适应用户搜索意图的突发性变化。通过使用上下文信号在检测到意图变化时触发Bandit重启，该方法在印象数为T时实现关于T的对数 regret，显著优于高意图变化流量下的先前方法。

ABSTRACT

Search engines today present results that are often oblivious to abrupt shifts in intent. For example, the query `independence day' usually refers to a US holiday, but the intent of this query abruptly changed during the release of a major film by that name. While no studies exactly quantify the magnitude of intent-shifting traffic, studies suggest that news events, seasonal topics, pop culture, etc account for 50% of all search queries. This paper shows that the signals a search engine receives can be used to both determine that a shift in intent has happened, as well as find a result that is now more relevant. We present a meta-algorithm that marries a classifier with a bandit algorithm to achieve regret that depends logarithmically on the number of query impressions, under certain assumptions. We provide strong evidence that this regret is close to the best achievable. Finally, via a series of experiments, we demonstrate that our algorithm outperforms prior approaches, particularly as the amount of intent-shifting traffic increases.

研究动机与目标

• 解决搜索引擎在突发性用户意图变化（如突发新闻或病毒式内容）下无法自适应的问题。
• 开发一种方法，利用未标注的上下文信号和实时点击反馈，在无需标注训练数据的情况下检测意图变化。
• 设计一种系统，在检测到意图变化时动态重启Bandit学习，以快速收敛到更相关的结果。
• 在对分类器和Bandit组件施加弱假设的前提下，提供关于 regret 的理论保证，使其随印象数 T 呈对数增长。

提出的方法

• 提出一种元算法 bwc，通过在‘测试’和‘适应’阶段之间交替，利用上下文特征检测意图变化。
• 使用分类器基于查询上下文（如流量、新闻提及、文档年龄）预测是否发生意图变化，且无需标注数据。
• 利用Bandit算法（特别是修改版的UCB1）选择并学习点击反馈，当分类器预测发生意图变化时重启。
• 通过一致性检查为分类器生成合成标签：若前后两阶段的高置信度臂集合不相交，则标记为‘假’（无事件），否则为‘真’。
• 通过要求在潜在事件前后均完整经历长度为L的阶段，确保反馈可靠，避免瞬态行为带来的污染。
• 采用模块化框架形式化系统设计，分别界定Bandit regret与分类器FP-复杂度，并将其合并为总 regret 上界。

实验结果

研究问题

• RQ1 搜索系统能否仅使用未标注的上下文信号和点击反馈，检测用户意图的突发性变化？
• RQ2 在存在意图变化的情况下，是否可能实现随印象数T对数增长的 regret？
• RQ3 将分类器与Bandit算法结合，相较于标准Bandit方法，能否显著提升适应速度？
• RQ4 在该设置下，regret 的理论极限是什么？所提方法能否实现近似最优？
• RQ5 该元算法的性能如何依赖于分类器所用概念类的复杂度以及事件数量？

主要发现

• bwc元算法在弱假设下实现 regret 上界为 $ O((k + d_{\text{FP}})(n/\nabla)\tfrac{1}{\nabla}\text{log }T) $，该上界关于 $ T $ 为对数形式，表明其对意图变化具有强适应能力。
• 该 regret 上界依赖于事件数 $ k $、分类器的 FP-复杂度 $ d_{\text{FP}} $ 以及最小次优性 $ \nabla $，表明分类器准确率与事件频率均影响性能。
• 建立了下界，证明任何忽略上下文的Bandit算法均会遭遇 $ \tilde{\nabla}(\nabla{T}) $ 的 regret，从而证明上下文对实现对数 regret 至关重要。
• 在假设对数 regret 可实现的前提下，该方法在 $ k $ 与 $ d_{\text{FP}} $ 的依赖关系上接近最优。
• 合成实验表明，bwc 在意图变化流量增加时显著优于标准Bandit算法（如UCB1）。
• 具有高置信度次优性估计的Bandit子程序本身具有独立研究价值，并显著增强了算法的鲁棒性与理论保证。