[论文解读] Non-Stationary Bandit Learning via Predictive Sampling

Yueyang Liu, Kuang, Xu+1 more|arXiv (Cornell University)|May 4, 2022

Advanced Bandit Algorithms Research被引用 6

一句话总结

本文提出预测采样（Predictive Sampling, PS），一种新颖的上下文多臂赌博机算法，通过在非平稳环境中考虑信息持久性来改进探索策略。与对所有信息一视同仁的汤普森采样不同，PS 通过采样未来奖励序列，优先选择信息持久性更高的动作，从而在非平稳环境下显著降低遗憾值并提升实际性能。

ABSTRACT

Thompson sampling has proven effective across a wide range of stationary bandit environments. However, as we demonstrate in this paper, it can perform poorly when applied to non-stationary environments. We attribute such failures to the fact that, when exploring, the algorithm does not differentiate actions based on how quickly the information acquired loses its usefulness due to non-stationarity. Building upon this insight, we propose predictive sampling, an algorithm that deprioritizes acquiring information that quickly loses usefulness. A theoretical guarantee on the performance of predictive sampling is established through a Bayesian regret bound. We provide versions of predictive sampling for which computations tractably scale to complex bandit environments of practical interest. Through numerical simulations, we demonstrate that predictive sampling outperforms Thompson sampling in all non-stationary environments examined.

研究动机与目标

• 为解决汤普森采样在非平稳多臂赌博机环境中表现不佳的问题，因其未能考虑信息持久性。
• 开发一种基于原则的算法，根据信息持续有用的时间动态调整探索策略。
• 建立一种新的信息论框架，用于分析非平稳多臂赌博机中的遗憾值。
• 证明通过理论边界和数值实验，预测采样在性能上优于基线方法。

提出的方法

• 提出预测采样（PS）作为汤普森采样的变体，其采样目标为整个未来奖励序列，而非单个均值奖励。
• 利用贝叶斯推断采样可能的未来奖励轨迹，然后选择在所采样序列下期望奖励最高的动作。
• 引入预测信息概念，量化可用于预测未来奖励的那部分信息。
• 为AR(1)赌博机开发高效的计算方法，并为AR(1)逻辑回归赌博机提供实用的近似方法。
• 建立一种新的信息比率与遗憾值边界框架，以考虑随时间变化的奖励分布和信息衰减。
• 使用以累积预测信息Δ表示的贝叶斯遗憾值边界来分析性能。

实验结果

研究问题

• RQ1 为何汤普森采样在非平稳多臂赌博机环境中表现不佳，尽管其在平稳环境中表现优异？
• RQ2 在时变环境中，如何根据信息的持久性动态调整探索策略？
• RQ3 将采样目标修改为未来奖励序列，是否能显著提升非平稳多臂赌博机的性能？
• RQ4 分析具有信息衰减的非平稳多臂赌博机遗憾值，需要怎样的理论框架？
• RQ5 在非平稳环境中，预测采样与汤普森采样及其他基线算法相比，其实际表现如何？

主要发现

• 在所有测试的非平稳环境中，预测采样显著优于汤普森采样，包括信息持久性不对称的情况。
• 在均值奖励快速变化的两动作赌博机中（γ₁ = 0.1），PS 比 TS 更少选择持久性较低的动作，避免了对短暂信息的过早探索。
• 在极端非平稳情况下，PS 实现了接近最优的性能，而汤普森采样则面临近乎最坏情况的遗憾。
• 理论分析建立了以累积预测信息Δ表示的贝叶斯遗憾值边界，为PS提供了通用性能保证。
• 数值实验表明，PS 累积的平均奖励高于TS及其他基线方法，95%置信区间显示其优势稳定存在。
• 所提出的基于信息论的框架成功将遗憾分析扩展至非平稳多臂赌博机，能够有效区分持久信息与瞬时信息。