[论文解读] Beyond the Click-Through Rate: Web Link Selection with Multi-level Feedback

Kun Chen, Kechao Cai+2 more|arXiv (Cornell University)|May 4, 2018

Advanced Bandit Algorithms Research参考文献 29被引用 7

一句话总结

本文提出 Con-UCB，一种用于网络链接选择的约束上置信度上限算法，在多级反馈结构下同时优化点击率（吸引力）和点击后收益（盈利能力）。在随机、无上下文的环境中，该算法实现了次线性遗憾和违规边界，优于最先进强化学习算法，在真实数据集中实现了奖励与约束满足之间的平衡。

ABSTRACT

The web link selection problem is to select a small subset of web links from a large web link pool, and to place the selected links on a web page that can only accommodate a limited number of links, e.g., advertisements, recommendations, or news feeds. Despite the long concerned click-through rate which reflects the attractiveness of the link itself, the revenue can only be obtained from user actions after clicks, e.g., purchasing after being directed to the product pages by recommendation links. Thus, the web links have an intrinsic \emph{multi-level feedback structure}. With this observation, we consider the context-free web link selection problem, where the objective is to maximize revenue while ensuring that the attractiveness is no less than a preset threshold. The key challenge of the problem is that each link's multi-level feedbacks are stochastic, and unobservable unless the link is selected. We model this problem with a constrained stochastic multi-armed bandit formulation, and design an efficient link selection algorithm, called Constrained Upper Confidence Bound algorithm ( extbf{Con-UCB}), and prove $O(\sqrt{T\ln T})$ bounds on both the regret and the violation of the attractiveness constraint. We conduct extensive experiments on three real-world datasets, and show that extbf{Con-UCB} outperforms state-of-the-art context-free bandit algorithms concerning the multi-level feedback structure.

研究动机与目标

• 解决网络链接选择问题，其中链接产生多级反馈：点击率（CTR）和点击后收益。
• 在确保最低吸引力（CTR）的前提下，最大化总复合收益。
• 应对在未选择链接前无法观测到的随机多级反馈的挑战。
• 设计一种无需用户或内容上下文的无上下文强化学习算法，适用于隐身模式、冷启动或 Cookie 被阻止的场景。
• 在高概率保证下，实现次线性遗憾和约束违规边界。

提出的方法

• 将问题形式化为具有两级奖励的约束随机多臂老虎机（MAB）问题：一级奖励（CTR）和二级奖励（点击后收益）。
• 定义复合奖励为 CTR 与点击后收益的乘积，表示每个链接的总期望收益。
• 设计 Con-UCB 算法，利用上置信度上限（UCB）方法在尊重吸引力约束的前提下平衡探索与利用。
• 引入拉格朗日松弛方法，动态调整以应对约束违规，确保累积吸引力始终高于阈值。
• 使用高概率浓度不等式证明，遗憾和约束违规的增长速度均为 $O(\sqrt{T\ln(T/\delta)})$，概率至少为 $1 - \delta$。
• 在顺序决策设置中应用该算法，每轮从 $K$ 个链接的庞大集合中选择 $L$ 个链接。

实验结果

研究问题

• RQ1 在无法观测、多级反馈的条件下，强化学习算法能否有效平衡网络链接选择中的收益最大化与吸引力约束？
• RQ2 在反馈为随机且仅在链接被选择后才揭示的情况下，无上下文强化学习算法如何实现次线性遗憾和约束违规？
• RQ3 使用基于 UCB 的优化并结合约束感知探索，是否能优于指数加权基线方法（如 LExp），在收益与约束违规之间实现更优平衡？
• RQ4 在多级反馈设置下，约束 MAB 算法的理论性能保证（遗憾和违规边界）是什么？
• RQ5 在具有多级反馈的真实数据集中，Con-UCB 与最先进无上下文强化学习算法相比，实证表现如何？

主要发现

• 在 Coupon-Purchase 数据集中，Con-UCB 的累积遗憾显著低于 LExp，表明其在探索与利用之间具有更优的权衡。
• Con-UCB 在所有算法中累积约束违规最少，优于无约束基线（如 CUCB 和 Exp3.M），后者严重违反了吸引力阈值。
• 在所有数据集中，Con-UCB 的收益-违规比最高，表明其在收益与约束遵守之间实现了最高效的平衡。
• 在 Ad-Clicks 和 edX-Course 数据集中，Con-UCB 的遗憾更低、累积收益更高，同时违规水平最低，优于 LExp。
• 该算法在遗憾和违规方面均具有 $O(\sqrt{T\ln(T/\delta)})$ 的理论边界，且在三个真实数据集中均得到实证验证。
• 实证结果证实，Con-UCB 在遗憾和违规方面均优于 LExp，与理论保证一致，表明其在多级反馈环境中的鲁棒性。