[论文解读] Contextual Bandits under Delayed Feedback.

Claire Vernade, Alexandra Carpentier+3 more|arXiv (Cornell University)|Jan 1, 2018

Advanced Bandit Algorithms Research参考文献 25被引用 20

一句话总结

本文提出了一种基于UCB的上下文Bandit算法，用于处理延迟和删失反馈，其中奖励可能不会及时到达或可能完全丢失。该文提出了一种新颖的遗憾分析，并通过与实际基线的实证验证，展示了在现实世界反馈延迟下的性能提升。

ABSTRACT

Delayed feedback is an ubiquitous problem in many industrial systems employing bandit algorithms. Most of those systems seek to optimize binary indicators as clicks. In that case, when the reward is not sent immediately, the learner cannot distinguish a negative signal from a not-yet-sent positive one: she might be waiting for a feedback that will never come. In this paper, we define and address the contextual bandit problem with delayed and censored feedback by providing a new UCB-based algorithm. In order to demonstrate its effectiveness, we provide a finite time regret analysis and an empirical evaluation that compares it against a baseline commonly used in practice.

研究动机与目标

• 为解决工业系统（如在线广告）中常见的延迟和删失反馈问题，提出一种上下文Bandit应用的解决方案。
• 在奖励无法立即获得或可能永远无法收到的情况下，实现可靠的模型学习。
• 设计一种基于UCB的算法，即使在反馈延迟和删失的情况下也能保持性能。
• 为所提出的算法在延迟和删失反馈条件下的有限时间遗憾提供理论分析。
• 通过与实际中使用的标准基线进行实证比较，评估该算法的性能。

提出的方法

• 所提出的算法通过根据预期反馈到达时间调整置信区间，将上置信界（UCB）原则扩展至处理延迟反馈。
• 将反馈过程建模为删失过程，其中缺失的反馈被视为可能为正但尚未被观测到。
• 算法维护对期望奖励和不确定性的估计，并仅在反馈到达时进行更新。
• 引入一种延迟感知的探索策略，考虑反馈未被接收的概率。
• 遗憾分析综合考虑了延迟分布和删失机制，推导出有限时间内的边界。
• 实证评估在具有延迟反馈的模拟环境和真实世界场景中，将该算法与标准UCB基线进行比较。

实验结果

研究问题

• RQ1 如何使上下文Bandit算法在反馈延迟或删失时仍能保持性能？
• RQ2 反馈延迟和删失对上下文Bandit设置中学习遗憾的理论影响是什么？
• RQ3 在延迟和删失反馈条件下，基于UCB的算法能否优于标准基线？
• RQ4 所提出算法的遗憾边界如何随延迟和删失率变化？
• RQ5 在现实反馈延迟场景中，该算法表现出哪些实证改进？

主要发现

• 所提出的算法实现了同时考虑延迟和删失的有限时间遗憾边界，在现实反馈条件下提供了更优的理论保证。
• 实证结果表明，该算法在具有延迟和删失反馈的环境中优于标准UCB基线。
• 即使反馈延迟较长或不可预测，该算法仍能保持稳定的性能。
• 遗憾分析表明，随着延迟和删失率的增加，算法性能的退化是渐进且可控的。
• 该方法能有效区分未观测到的反馈与负面反馈，从而降低因信号缺失导致的长期不作为风险。