[论文解读] Multi-Armed Bandit Strategies for Non-Stationary Reward Distributions and Delayed Feedback Processes

Larkin Liu, Richard Downe+1 more|arXiv (Cornell University)|Feb 22, 2019

Advanced Bandit Algorithms Research参考文献 11被引用 8

一句话总结

本文提出 AG1，一种专为具有延迟反馈的非平稳奖励分布设计的新型贝叶斯多臂老虎机策略。通过保留并利用先前时间窗口的参数估计，AG1 在模拟的在线杂货库存优化场景中，相较于 epsilon-greedy、Thompson Sampling 和 UCB1，能更有效地最小化累积遗憾。

ABSTRACT

A survey is performed of various Multi-Armed Bandit (MAB) strategies in order to examine their performance in circumstances exhibiting non-stationary stochastic reward functions in conjunction with delayed feedback. We run several MAB simulations to simulate an online eCommerce platform for grocery pick up, optimizing for product availability. In this work, we evaluate several popular MAB strategies, such as $ε$-greedy, UCB1, and Thompson Sampling. We compare the respective performances of each MAB strategy in the context of regret minimization. We run the analysis in the scenario where the reward function is non-stationary. Furthermore, the process experiences delayed feedback, where the reward function is not immediately responsive to the arm played. We devise a new adaptive technique (AG1) tailored for non-stationary reward functions in the delayed feedback scenario. The results of the simulation show show superior performance in the context of regret minimization compared to traditional MAB strategies.

研究动机与目标

• 评估标准 MAB 策略（epsilon-greedy、UCB1 和 Thompson Sampling）在非平稳奖励分布与延迟反馈下的表现。
• 解决在线杂货自提服务中产品可得性优化的实际挑战，其中奖励反馈存在延迟且奖励分布随时间变化。
• 设计并验证一种新的贝叶斯 MAB 策略（AG1），通过利用历史参数估计来适应具有延迟反馈的非平稳环境。
• 证明在 K=2 和 K=10 臂的模拟中，AG1 在正弦奖励函数下显著低于现有策略的累积遗憾。
• 为基于记忆的贝叶斯适应在动态、反馈延迟的 MAB 设置中的优越性提供实证证据，该设置与现实世界电商业务密切相关。

提出的方法

• AG1 采用贝叶斯框架，保留前一时间窗口的后验参数估计，避免在每个时间周期从头重新估计。
• 该策略基于最新后验均值估计的贪婪策略，确保对制度变化的快速适应。
• 对于非平稳奖励函数，AG1 通过在时间窗口间保持先前观测的记忆，避免了基于重启策略的性能下降。
• 该方法在模拟的在线杂货平台中进行评估，其中各臂代表不同的组合预测算法，指标为补货率（取货时的商品可得性）。
• 遗憾通过随时间累积的最优期望奖励与实际奖励之间的差异计算，AG1 通过持续的参数估计最小化该量。
• 模拟使用正弦奖励函数来建模预测算法的时变性能，并引入延迟反馈以反映现实世界的数据延迟。

实验结果

研究问题

• RQ1 在非平稳奖励分布与延迟反馈下，标准 MAB 策略（epsilon-greedy、UCB1、Thompson Sampling）的表现如何？
• RQ2 一种保留历史参数估计的贝叶斯 MAB 策略是否能在非平稳、延迟反馈环境中优于基于重启的策略？
• RQ3 延迟反馈对传统 MAB 算法在动态奖励设置下的遗憾表现有何影响？
• RQ4 当臂的数量从 2 增加到 10 时，AG1 策略与 epsilon-greedy 和 Thompson Sampling 在累积遗憾和奖励方面相比如何？
• RQ5 与每个时间窗口均重置估计的策略相比，AG1 中的参数记忆在多大程度上减少了遗憾？

主要发现

• 在 K=2 臂的正弦奖励模拟中，AG1 的累积遗憾为 2.784，显著低于 epsilon-greedy 的 6.881。
• 在 K=10 臂的情况下，AG1 的累积遗憾为 2.558，优于 epsilon*-greedy（7.121）和 TS*（6.241），表明其在更高臂数下仍具鲁棒性。
• AG1 的性能优势源于在时间窗口间保留先前的参数估计，从而在无需重新估计延迟的情况下实现对制度变化的快速适应。
• Thompson Sampling 在平稳环境下表现强劲，但在非平稳情况下与延迟反馈结合时表现欠佳，可能由于探索过于保守。
• UCB1 在非平稳场景中表现欠佳，可能是因为延迟反馈过度抑制了探索，导致次优臂的选择。
• 结果证实，像 AG1 这类基于记忆的贝叶斯策略，相较于基于重启或纯频率学派的方法，更适合非平稳、延迟反馈的环境。