[论文解读] Discrepancy-Based Algorithms for Non-Stationary Rested Bandits

Corinna Cortes, Giulia DeSalvo+3 more|arXiv (Cornell University)|Oct 29, 2017

Hemodynamic Monitoring and Therapy被引用 8

一句话总结

本文提出了一种基于差异性的新颖算法，用于非平稳的休息型老虎机问题，其中奖励分布仅在拉动臂时发生变化。通过利用加权差异性来衡量非平稳性，并扩展UCB原则，该算法在自然条件下实现了对数 regret 边界，统一并恢复了先前的结果，同时在基准测试中表现出实际性能的提升。

ABSTRACT

We study the multi-armed bandit problem where the rewards are realizations of general non-stationary stochastic processes, a setting that generalizes many existing lines of work and analyses. In particular, we present a theoretical analysis and derive regret guarantees for rested bandits in which the reward distribution of each arm changes only when we pull that arm. Remarkably, our regret bounds are logarithmic in the number of rounds under several natural conditions. We introduce a new algorithm based on classical UCB ideas combined with the notion of weighted discrepancy, a useful tool for measuring the non-stationarity of a stochastic process. We show that the notion of discrepancy can be used to design very general algorithms and a unified framework for the analysis of multi-armed rested bandit problems with non-stationary rewards. In particular, we show that we can recover the regret guarantees of many specific instances of bandit problems with non-stationary rewards that have been studied in the literature. We also provide experiments demonstrating that our algorithms can enjoy a significant improvement in practice compared to standard benchmarks.

研究动机与目标

• 解决多臂老虎机问题中奖励非平稳的挑战，其中分布仅在拉动臂时发生变化（即休息型老虎机）。
• 开发一种通用的算法框架，以捕捉老虎机设置中广泛范围的非平稳随机过程。
• 在对非平稳性做出自然假设的前提下，推导出在轮次数量上为对数 regret 边界的保证。
• 统一并恢复先前针对非平稳老虎机问题的专门研究中已知的 regret 边界。

提出的方法

• 引入加权差异性作为衡量控制臂奖励的随机过程非平稳性的工具。
• 设计一种新型老虎机算法，结合上界置信区间（UCB）原则与基于差异性的探索控制。
• 利用差异性估计动态调整置信区间和臂的选择，确保对变化的奖励分布具有自适应性。
• 形式化一个理论框架，将差异性与 regret 边界联系起来，从而实现在多样化非平稳过程中的分析。
• 将该框架应用于恢复先前关于非平稳老虎机问题的已知 regret 保证。
• 进行实验评估，将性能与标准基准进行比较，展示实际优势。

实验结果

研究问题

• RQ1 能否基于非平稳性的通用度量，为非平稳的休息型老虎机问题开发一个统一的算法框架？
• RQ2 在何种条件下，所提出的算法即使在奖励非平稳的情况下仍能实现对数 regret ？
• RQ3 加权差异性概念如何实现对休息型老虎机问题中更紧密且更通用的 regret 分析？
• RQ4 所提出的框架能否恢复并推广来自专门的非平稳老虎机模型的现有 regret 边界？
• RQ5 在实际的非平稳老虎机环境中，该算法是否优于标准基准？

主要发现

• 在对非平稳性做出自然假设的前提下，所提出的算法即使在奖励非平稳的情况下，仍能在轮次数量上实现对数 regret 边界。
• 该框架成功恢复了先前专门研究中已知的 regret 保证，展示了统一性。
• 加权差异性作为衡量和适应随机过程中非平稳性的强大且通用的工具。
• 实验结果表明，在非平稳老虎机设置中，该算法相比标准基准算法表现出显著的性能提升。
• 该算法的设计使得理论分析清晰，并在各种非平稳奖励过程中具备实际的自适应能力。