[论文解读] Contextual User Browsing Bandits for Large-Scale Online Mobile Recommendation

Xu He, Bo An+5 more|arXiv (Cornell University)|Aug 21, 2020

Advanced Bandit Algorithms Research参考文献 23被引用 7

一句话总结

本文提出 UBM-LinUCB，一种上下文组合 bandit 算法，通过整合用户浏览模型（UBM）来估计项目检视概率，从而建模移动端电商推荐中的位置偏差和伪曝光问题。该方法实现了次线性遗憾，并在淘宝的离线与在线实验中均优于基线算法，显著提升了点击率（CTR）指标。

ABSTRACT

Online recommendation services recommend multiple commodities to users. Nowadays, a considerable proportion of users visit e-commerce platforms by mobile devices. Due to the limited screen size of mobile devices, positions of items have a significant influence on clicks: 1) Higher positions lead to more clicks for one commodity. 2) The 'pseudo-exposure' issue: Only a few recommended items are shown at first glance and users need to slide the screen to browse other items. Therefore, some recommended items ranked behind are not viewed by users and it is not proper to treat this kind of items as negative samples. While many works model the online recommendation as contextual bandit problems, they rarely take the influence of positions into consideration and thus the estimation of the reward function may be biased. In this paper, we aim at addressing these two issues to improve the performance of online mobile recommendation. Our contributions are four-fold. First, since we concern the reward of a set of recommended items, we model the online recommendation as a contextual combinatorial bandit problem and define the reward of a recommended set. Second, we propose a novel contextual combinatorial bandit method called UBM-LinUCB to address two issues related to positions by adopting the User Browsing Model (UBM), a click model for web search. Third, we provide a formal regret analysis and prove that our algorithm achieves sublinear regret independent of the number of items. Finally, we evaluate our algorithm on two real-world datasets by a novel unbiased estimator. An online experiment is also implemented in Taobao, one of the most popular e-commerce platforms in the world. Results on two CTR metrics show that our algorithm outperforms the other contextual bandit algorithms.

研究动机与目标

• 为解决移动端在线推荐中的位置偏差与伪曝光问题，由于屏幕空间有限，通常只有排名靠前的项目会被查看。
• 对一组推荐项目的奖励进行建模，而非单个项目，以反映真实移动端推荐场景。
• 开发一种考虑用户浏览行为与位置相关检视概率的上下文组合 bandit 算法。
• 提供形式化的遗憾分析，证明遗憾与项目总数无关，且为次线性。
• 通过无偏估计器与大规模淘宝线上 A/B 测试对方法进行实证评估。

提出的方法

• 将在线移动端推荐形式化为一种具有基于集合的奖励函数的上下文组合 bandit 问题。
• 引入用户浏览模型（UBM）以基于项目位置及上方最近一次点击来估计检视概率。
• 提出 UBM-LinUCB，一种将 UBM 估计的检视概率融入线性奖励模型的 bandit 算法，以提升策略学习效果。
• 在 LinUCB 框架中使用 UBM 衍生的权重，以平衡探索与利用。
• 在离线评估中使用无偏估计器，以校正点击数据中的选择偏差。
• 在淘宝真实线上 A/B 测试中部署该算法，用户被随机分配至不同算法组，参数通过在线日志持续更新。

实验结果

研究问题

• RQ1 在移动端电商中，如何在考虑位置相关用户行为的前提下，对一组推荐项目的奖励进行建模？
• RQ2 通过 UBM 建模用户浏览行为，相较于标准 bandit 方法，能在多大程度上提升在线推荐性能？
• RQ3 能否设计一种上下文组合 bandit 算法，在考虑位置偏差与伪曝光的同时实现次线性遗憾？
• RQ4 UBM-LinUCB 在离线与线上设置下，相较于现有 bandit 算法表现如何？
• RQ5 使用更精确的用户浏览模型，对 CTR 与整体推荐效果有何影响？

主要发现

• UBM-LinUCB 实现了次线性期望累积遗憾，其上界为 Õ(d√(TK))，且与项目总数无关。
• 在离线实验中，UBM-LinUCB 在 CTR_sum 与 CTR_set 指标上均优于 C2UCB 与 DCM-LinUCB 等基线算法。
• 在淘宝的线上 A/B 测试中，UBM-LinUCB 连续三天均实现最高 CTR，且相对于基线表现出稳定且显著的提升。
• 该算法随时间推移持续提升 CTR_sum 与 CTR_set，展现出在约 6000 万项目规模的真实高流量环境中的鲁棒性。
• 当推荐项目数（K）增加时，性能提升最为显著，表明 UBM-LinUCB 在大规模场景中具备良好的可扩展性与有效性。
• 结果证实，通过 UBM 建模用户浏览行为，可实现更准确的奖励估计与更优的策略学习，优于忽略位置效应或使用简化点击模型的方法。