[论文解读] Nonstationary Stochastic Multiarmed Bandits: UCB Policies and Minimax Regret

Lai Wei, Vaibhav Srivastava|arXiv (Cornell University)|Jan 22, 2021

Advanced Bandit Algorithms Research参考文献 38被引用 5

一句话总结

本文提出了基于UCB的策略——周期性重置、滑动窗口和折扣法，用于具有均值奖励变化预算约束的非平稳随机多臂老虎机问题。建立了有序最优的最小最大后悔边界，并通过鲁棒估计将结果扩展至重尾分布，在非平稳环境下保持近似最优性能。

ABSTRACT

We study the nonstationary stochastic Multi-Armed Bandit (MAB) problem in which the distribution of rewards associated with each arm are assumed to be time-varying and the total variation in the expected rewards is subject to a variation budget. The regret of a policy is defined by the difference in the expected cumulative rewards obtained using the policy and using an oracle that selects the arm with the maximum mean reward at each time. We characterize the performance of the proposed policies in terms of the worst-case regret, which is the supremum of the regret over the set of reward distribution sequences satisfying the variation budget. We extend Upper-Confidence Bound (UCB)-based policies with three different approaches, namely, periodic resetting, sliding observation window and discount factor and show that they are order-optimal with respect to the minimax regret, i.e., the minimum worst-case regret achieved by any policy. We also relax the sub-Gaussian assumption on reward distributions and develop robust versions the proposed polices that can handle heavy-tailed reward distributions and maintain their performance guarantees.

研究动机与目标

• 解决随机多臂老虎机中奖励均值随时间变化的非平稳环境挑战。
• 通过变化预算约束来形式化问题，以限制期望奖励的总变化量。
• 设计基于UCB的策略，在非平稳环境中平衡对旧信息的记忆与对过时信息的遗忘。
• 放宽对奖励分布的次高斯假设，以包含重尾分布。
• 建立最小最大后悔边界，并证明所提出的策略相对于理论下界具有有序最优性。

提出的方法

• 引入三种UCB策略变体：周期性重置、滑动窗口和基于折扣因子的UCB，以应对非平稳性。
• 使用截断经验均值和置信区间，以在时变均值下控制估计误差。
• 采用基于截断和Winsor化统计量的鲁棒估计框架，以处理重尾奖励分布。
• 将变化预算 $V_T$ 定义为随时间变化的期望奖励总变化量，以约束非平稳性。
• 利用集中不等式推导后悔边界，并证明最坏情况下的后悔在最小最大下界的一个常数因子之内。
• 调整窗口大小和折扣因子等参数，以在环境变化时平衡探索与利用。

实验结果

研究问题

• RQ1 基于UCB的策略能否在具有有界变化预算的非平稳随机MAB中实现有序最优的最小最大后悔？
• RQ2 不同的遗忘机制——周期性重置、滑动窗口和折扣法——在非平稳环境中如何影响后悔性能？
• RQ3 鲁棒UCB策略能否在无次高斯假设条件下，对重尾奖励分布维持有序最优后悔？
• RQ4 非平稳性对现有老虎机算法（如Exp3和DTS）在非平稳随机环境中的性能有何影响？
• RQ5 能否设计出内存高效的UCB策略，使其在时变奖励分布下仍保持性能？

主要发现

• 所提出的UCB策略——R-MOSS、SW-MOSS和D-UCB——在最坏情况下的后悔控制在最小最大下界 $\Omega((KV_T)^{1/3}T^{2/3})$ 的常数因子之内。
• 鲁棒版本R-RMOSS和SW-RMOSS在具有广义帕累托噪声的重尾奖励分布下仍能维持有序最优后悔。
• 数值实验表明，R-MOSS和SW-MOSS在非平稳随机环境中优于对抗性老虎机策略（如Rexp3、Exp3.S）。
• 当最优臂未切换时DTS表现良好，但当最优臂发生变化时，由于适应延迟，其后悔更高。
• 重尾环境下后悔的直方图显示，R-RMOSS和SW-RMOSS表现出更好的一致性，并且与平均后悔的偏离更小。
• 折扣因子方法具有内存效率，但其与重尾环境下鲁棒估计的结合仍是开放问题。