[论文解读] Multi-Armed Bandits with Non-Stationary Rewards

Corinna Cortes, Giulia DeSalvo+3 more|arXiv (Cornell University)|Oct 29, 2017

Advanced Bandit Algorithms Research参考文献 16被引用 7

一句话总结

本文首次对奖励非平稳的多臂赌博机问题进行了理论分析，提出了一类基于加权差异性度量非平稳性的UCB型算法。在自然条件下，该工作为标准动态伪遗憾和路径依赖型动态伪遗憾均实现了对数 regret 边界，为非平稳随机过程提供了一个统一的理论框架。

ABSTRACT

The multi-armed bandit problem where the rewards are realizations of general non-stationary stochastic processes is a challenging setting which has not been previously tackled in the bandit literature in its full generality. We present the first theoretical analysis of this problem by deriving guarantees for both the path-dependent dynamic pseudo-regret and the standard pseudo-regret that, remarkably, are both logarithmic in the number of rounds under certain natural conditions. We describe several UCB-type algorithms based on the notion of weighted discrepancy, a key measure of non-stationarity for stochastic processes. We show that discrepancy provides a unified framework for the analysis of non-stationary rewards. Our experiments demonstrate a significant improvement in practice compared to standard benchmarks.

研究动机与目标

• 填补多臂赌博机问题中关于一般非平稳随机过程在 bandit 文献中的研究空白。
• 为非平稳设置下的标准动态伪遗憾与路径依赖型动态伪遗憾提供理论保证。
• 引入加权差异性作为非平稳随机过程的统一非平稳性度量。
• 设计基于该度量的UCB型算法，以自适应地适应非平稳奖励分布。
• 通过实验验证所提算法相较于标准基准的性能，展示实际改进效果。

提出的方法

• 提出一种新颖的度量方法——加权差异性，用于量化随机过程中非平稳性的程度。
• 设计结合加权差异性的UCB型算法，以自适应地平衡探索与利用。
• 通过分析加权差异性随时间的增长速率，推导理论 regret 边界。
• 在奖励过程满足温和正则性条件的前提下，建立标准与路径依赖型动态伪遗憾的对数边界。
• 采用时间加权平均方法估计随时间演化的均值奖励，以适应非平稳性。
• 应用置信区间机制，根据每条臂的估计差异性动态调整置信区间。

实验结果

研究问题

• RQ1 在具有通用非平稳随机奖励的多臂赌博机问题中，能否实现对数 regret？
• RQ2 如何对奖励过程中的非平稳性进行形式化度量，并在算法设计中加以利用？
• RQ3 能否构建一个统一框架，用于分析非平稳性下的标准与动态遗憾？
• RQ4 基于加权差异性的UCB型算法在实践中是否优于标准基准？
• RQ5 在非平稳赌博机设置中，何种理论条件可确保实现对数 regret？

主要发现

• 所提算法在奖励过程满足自然条件时，实现了对数标准伪遗憾。
• 路径依赖型动态伪遗憾同样被证明为对数级别，标志着重要的理论进展。
• 加权差异性作为统一度量，使得对多样化非平稳奖励过程的分析成为可能。
• 理论保证的推导未假设非平稳性的特定参数形式，从而增强了通用性。
• 实验结果表明，在非平稳环境中，所提算法在性能上持续优于标准UCB和基线算法。
• 该框架通过自适应加权机制，成功处理了缓慢变化与突变型奖励分布。