[论文解读] DCM Bandits: Learning to Rank with Multiple Clicks

Sumeet Katariya, Branislav Kveton+2 more|arXiv (Cornell University)|Feb 9, 2016

Advanced Bandit Algorithms Research参考文献 22被引用 47

一句话总结

本文提出了 DCM Bandits，一种新颖的在线学习框架，用于在使用依赖点击模型（DCM）进行多点击学习排序时，通过 dcmKL-UCB 算法高效地从部分反馈（仅点击）中学习。该算法将问题转化为级联 bandits 问题，实现了在对数因子范围内最优的遗憾边界，并在合成数据和真实世界实验中均优于基线方法，即使在模型误设的情况下也表现稳健。

ABSTRACT

A search engine recommends to the user a list of web pages. The user examines this list, from the first page to the last, and clicks on all attractive pages until the user is satisfied. This behavior of the user can be described by the dependent click model (DCM). We propose DCM bandits, an online learning variant of the DCM where the goal is to maximize the probability of recommending satisfactory items, such as web pages. The main challenge of our learning problem is that we do not observe which attractive item is satisfactory. We propose a computationally-efficient learning algorithm for solving our problem, dcmKL-UCB; derive gap-dependent upper bounds on its regret under reasonable assumptions; and also prove a matching lower bound up to logarithmic factors. We evaluate our algorithm on synthetic and real-world problems, and show that it performs well even when our model is misspecified. This work presents the first practical and regret-optimal online algorithm for learning to rank with multiple clicks in a cascade-like click model.

研究动机与目标

• 解决在线设置中存在多个用户点击时的学习排序挑战，其中奖励（用户满意度）不可观测。
• 为 DCM 开发一种计算高效的在线学习算法，仅基于部分反馈（仅点击观测）运行。
• 在合理假设下，特别是已知终止概率的顺序下，为所提算法建立理论遗憾边界。
• 在合成数据和真实世界数据上对算法性能进行实证评估，检验其在模型误设下的鲁棒性。
• 证明该算法在累积遗憾和学习速度方面优于现有基线方法，如排序 bandits 和级联 bandits。

提出的方法

• 提出 DCM Bandits 作为依赖点击模型（DCM）的在线学习变体，其中用户可能在顺序浏览中点击多个项目。
• 提出 dcmKL-UCB 算法，受 KL-UCB 启发，利用置信上界来基于观测到的点击平衡探索与利用。
• 采用一种新颖的约简技术，将多点击 DCM 问题转化为单点击级联 bandits 问题，从而支持理论分析。
• 假设位置相关的终止概率顺序是事先已知的，这使得算法能够推断出最具潜力的项目位置。
• 采用基于差距的遗憾分析，推导出累积遗憾的上界，并在对数因子范围内达到匹配的下界。
• 采用一种奖励估计策略，即使未直接观测到满意度信号，也能从点击模式中推断用户满意度。

实验结果

研究问题

• RQ1 能否为 DCM 设计一种在线学习算法，使其在不观测用户满意度的情况下，高效地从多点击中学习？
• RQ2 在仅观测点击且已知终止概率顺序的前提下，是否可能在多点击学习排序中实现遗憾最优？
• RQ3 与排序 bandits 和级联 bandits 等现有方法相比，所提出的 dcmKL-UCB 算法在遗憾和收敛速度方面表现如何？
• RQ4 当实际中建模假设（如已知终止概率顺序）被违反时，该算法是否仍保持鲁棒性？
• RQ5 理论遗憾边界是否能在真实世界和合成环境中被实证性能所匹配？

主要发现

• dcmKL-UCB 算法在合理假设下实现了在对数因子范围内最优的遗憾边界，其基于差距的上界已得到证明。
• 实验证明，该算法显著优于排序 bandits，在合成实验中 10,000 轮后遗憾减少至少两倍。
• 实证结果表明，即使在模型误设时，dcmKL-UCB 仍表现良好，尤其在终止概率顺序假设被违反时。
• 该算法在收敛速度上优于基线方法，验证了其在实际排序问题中的高效性。
• 约简为级联 bandits 的方法在保留 DCM 多点击特性的同时，支持理论分析，构成关键技术贡献。
• dcmKL-UCB 的遗憾并非与常见终止概率 γ 呈线性关系，表明理论边界仍有进一步优化空间。