[论文解读] Iterative Expectation for Multi Period Information Retrieval

Marc Sloan, Jun Wang|arXiv (Cornell University)|Mar 21, 2013

Algorithms and Data Compression参考文献 28被引用 4

一句话总结

本文提出了一种用于多周期信息检索的概率优化框架，利用迭代期望动态地根据用户点击反馈随时间更新文档相关性的信念。通过将排序建模为随机控制过程，并将点击模型整合到多臂赌博机框架中，该方法在处理排名偏差的同时提升了长期用户满意度并实现了自适应探索。实验结果表明，使用真实搜索日志数据时性能表现强劲。

ABSTRACT

Many Information Retrieval (IR) models make use of offline statistical techniques to score documents for ranking over a single period, rather than use an online, dynamic system that is responsive to users over time. In this paper, we explicitly formulate a general Multi Period Information Retrieval problem, where we consider retrieval as a stochastic yet controllable process. The ranking action during the process continuously controls the retrieval system's dynamics, and an optimal ranking policy is found in order to maximise the overall users' satisfaction over the multiple periods as much as possible. Our derivations show interesting properties about how the posterior probability of the documents relevancy evolves from users feedbacks through clicks, and provides a plug-in framework for incorporating different click models. Based on the Multi-Armed Bandit theory, we propose a simple implementation of our framework using a dynamic ranking rule that takes rank bias and exploration of documents into account. We use TREC data to learn a suitable exploration parameter for our model, and then analyse its performance and a number of variants using a search log data set; the experiments suggest an ability to explore document relevance dynamically over time using user feedback in a way that can handle rank bias.

研究动机与目标

• 为解决依赖静态一次性评估的离线IR模型的局限性，提出一种用于文档排序的动态在线学习框架。
• 将信息检索建模为随机控制过程，其中用户反馈（点击）持续更新多个时间周期内对文档相关性的信念。
• 开发一种灵活的插件式框架，整合多种点击模型，并实现自适应探索，以平衡排名偏差与相关性发现。
• 使用真实搜索日志数据在真实场景中评估框架性能，证明其能够从现有点击数据中学习并处理新文档。
• 探索扩展方向，如从历史点击数据中学习、整合文档特征，以及通过基于相似性的相关性传播加快收敛速度。

提出的方法

• 将多周期IR形式化为最优控制问题，其中系统状态为文档相关性的后验概率，通过用户反馈迭代更新。
• 推导出一个动态函数，用于建模基于历史排序决策和观测到的点击，文档相关性信念的演化过程。
• 提出一种基于多臂赌博机理论的动态排序规则，明确考虑排名偏差和探索-利用权衡。
• 采用插件式架构，将不同点击模型（如依赖点击模型、检查假说）集成到信念更新机制中。
• 使用TREC相关性判断调优探索参数，并在Yandex相关性预测挑战数据集上验证性能。
• 将框架扩展至支持从历史点击日志中学习，并通过基于文档相似性的相关性传播，动态整合新文档。

实验结果

研究问题

• RQ1 如何仅使用点击反馈在多个检索周期内动态更新文档相关性？
• RQ2 排名偏差在序列检索系统中如何影响后验相关性概率的演化？
• RQ3 基于赌博机的排序策略是否能在多周期IR环境中有效平衡探索与利用？
• RQ4 在真实世界日志数据中，不同点击模型对迭代期望框架性能有何影响？
• RQ5 该框架在多大程度上能从现有点击日志中学习并适应新引入的文档？

主要发现

• 依赖点击模型表现优于其他模型，且结果最接近上限，表明其与数据具有很强的匹配度。
• 模型的“先验”变体表现略逊于其对应版本，表明系统能够随时间有效学习新文档的相关性。
• 引入使用历史点击数据的训练阶段显著提升了性能，证明了模型从现有日志中学习的能力。
• 短视策略（仅关注即时点击）优于探索性策略，凸显了在实践中平衡探索与排名偏差的挑战。
• 该框架成功从真实世界搜索日志中学习，并在处理新文档方面表现出稳健性，即使缺乏先前的相关性判断。
• 模型的灵活性使得多种点击模型能够被整合，且参数调优效果显著；使用先验数据初始化时观察到性能提升。