[论文解读] Hierarchical Contextual Uplift Bandits for Catalog Personalization

A. Agrawal, Rajesh Kumar Mohanty+2 more|arXiv (Cornell University)|Jan 20, 2026

Advanced Bandit Algorithms Research被引用 0

一句话总结

论文提出了一个分层上下文提升赌博者框架（HCUB），使用粗到细的上下文层级和提升型奖励来个性化 Dream11 的目录，在在线A/B测试中实现收入提升并在动态环境中提升自适应性。

ABSTRACT

Contextual Bandit (CB) algorithms are widely adopted for personalized recommendations but often struggle in dynamic environments typical of fantasy sports, where rapid changes in user behavior and dramatic shifts in reward distributions due to external influences necessitate frequent retraining. To address these challenges, we propose a Hierarchical Contextual Uplift Bandit framework. Our framework dynamically adjusts contextual granularity from broad, system-wide insights to detailed, user-specific contexts, using contextual similarity to facilitate effective policy transfer and mitigate cold-start issues. Additionally, we integrate uplift modeling principles into our approach. Results from large-scale A/B testing on the Dream11 fantasy sports platform show that our method significantly enhances recommendation quality, achieving a 0.4% revenue improvement while also improving user satisfaction metrics compared to the current production system. We subsequently deployed this system to production as the default catalog personalization system in May 2025 and observed a further 0.5% revenue improvement.

研究动机与目标

• 在上下文赌博中解决快速环境变化和冷启动问题，以用于动态的幻想体育目录。
• 提供一个分层上下文表示，以实现跨系统级和用户级上下文的策略迁移。
• 将提升建模纳入目标，以优化增量商业影响（收入、参与度、留存）。
• 评估在线和离线性能，包括生产部署，并量化对收入和参与度的影响。

提出的方法

• 提出一个横跨系统级到用户级特征的分层上下文树用于上下文表示。
• 将奖励函数定义为短期参与、留存代理和收入提升的加权和。
• 使用奖励继承：将提升信号自上而下传播通过层级，以缓解冷启动并稳定探索。
• 通过分层自举来估计提升，以获得每个节点-动作对的中位数及置信区间。
• 在叶子节点执行贝叶斯 UCB 以选择目录行动，权衡探索与开发。
• 通过在线A/B测试和离线仿真来评估方法，包括移除奖励继承的消融实验。

实验结果

研究问题

• RQ1 HCUB 在具有分层上下文和提升奖励的情况下，是否能比生产的目录个性化系统带来更高的收入和参与度？
• RQ2 分层奖励继承对在非平稳、动态环境中的学习速度和自适应性的影响如何？
• RQ3 在大规模在线部署与离线仿真中，HCUB 在遗憾度和商业指标方面的表现如何？
• RQ4 奖励继承是否能在人群和系统级上下文之间稳定学习以缓解冷启动？

主要发现

• 在线实验显示使用 HCUB 的收入提升：2025 年 2–3 月 +0.42%（600 万用户）和 5 月至今 +0.51%（整个 Dream11 基础用户）。
• DAU 变化较小且统计上不显著：2–3 月 +0.05% 和 5 月至今 +0.1%。
• 离线仿真表明使用奖励继承比不使用继承时的遗憾度改善约 4–5%。
• 生产部署实现了收入提升，验证了 HCUB 的生产可用性。
• 该方法在保持或提升短期和长期参与度指标的同时，显著提升收入。