[论文解读] A Change-Detection based Framework for Piecewise-stationary Multi-Armed Bandit Problem

Fang Liu, Joohyun Lee+1 more|arXiv (Cornell University)|Nov 8, 2017

Advanced Bandit Algorithms Research参考文献 20被引用 15

一句话总结

本文提出了一种基于变化检测的框架 CD-UCB，用于分段平稳的多臂赌博机，能够检测奖励分布的变化并重启 UCB 探索过程。该框架引入了 CUSUM-UCB 和 PHT-UCB，分别采用 CUSUM 和 Page-Hinkley 检测方法，在温和假设下实现了目前已知最优的遗憾上界 $O(\sqrt{T\gamma_T\log(T/\gamma_T)})$，在合成数据集和真实世界数据集（Yahoo! 点击率）上的表现优于现有策略。

ABSTRACT

The multi-armed bandit problem has been extensively studied under the stationary assumption. However in reality, this assumption often does not hold because the distributions of rewards themselves may change over time. In this paper, we propose a change-detection (CD) based framework for multi-armed bandit problems under the piecewise-stationary setting, and study a class of change-detection based UCB (Upper Confidence Bound) policies, CD-UCB, that actively detects change points and restarts the UCB indices. We then develop CUSUM-UCB and PHT-UCB, that belong to the CD-UCB class and use cumulative sum (CUSUM) and Page-Hinkley Test (PHT) to detect changes. We show that CUSUM-UCB obtains the best known regret upper bound under mild assumptions. We also demonstrate the regret reduction of the CD-UCB policies over arbitrary Bernoulli rewards and Yahoo! datasets of webpage click-through rates.

研究动机与目标

• 解决经典多臂赌博机算法在奖励分布随时间变化的非平稳环境中存在的局限性。
• 开发一种主动自适应框架，能够检测变化点并重启赌博机策略以维持性能。
• 在分段平稳条件下，为基于变化检测的 UCB 策略提供理论遗憾上界。
• 在合成数据和真实世界数据上，证明所提方法在性能上优于被动自适应和现有主动自适应策略。

提出的方法

• 提出一种通用的 CD-UCB 框架，将变化检测算法与 UCB 结合，用于检测分布变化并重启 UCB 索引。
• 通过累积和（CUSUM）检验实现 CUSUM-UCB，用于检测奖励均值的变化，基于累积和统计量。
• 通过 Page-Hinkley 检验（PHT）实现 PHT-UCB，基于与参考均值的偏差累积和来检测变化。
• 基于底层变化检测算法的检测延迟和误报率，推导出 CD-UCB 策略的一般遗憾上界。
• 将该框架应用于合成的伯努利奖励环境和真实世界中的 Yahoo! 网页点击率数据。
• 使用非线性最小二乘拟合，估计子线性遗憾指数 $b$，形式为 $at^b + c$，用于经验性能比较。

实验结果

研究问题

• RQ1 与被动自适应策略相比，基于变化检测的框架是否能在分段平稳的多臂赌博机问题中改善遗憾性能？
• RQ2 能够检测并响应分布变化的主动自适应 UCB 策略的理论遗憾上界是什么？
• RQ3 在不同变化率和环境条件下，CUSUM-UCB 和 PHT-UCB 在遗憾和检测可靠性方面如何比较？
• RQ4 所提框架在真实世界数据上是否优于现有策略（如 D-UCB、SW-UCB、Exp3.R 和 Rexp3）？
• RQ5 为何 PHT-UCB 在低变化环境中优于 CUSUM-UCB，但在高变化场景中表现较差？

主要发现

• CUSUM-UCB 实现了目前已知最优的遗憾上界 $O(\sqrt{T\gamma_T\log(T/\gamma_T)})$，在分段平稳假设下比现有策略更紧致。
• 在具有 $\gamma_T$ 个变化点的合成伯努利环境中，CUSUM-UCB 和 PHT-UCB 的遗憾指数分别为 $b=0.72$ 和 $0.69$，显著低于 D-UCB（$b=0.89$）和 SW-UCB（$b=0.84$）。
• 在 $K=5$ 的 Yahoo! 数据集中，被动自适应策略（D-UCB、SW-UCB、Rexp3）表现出线性遗憾（$b \approx 1$），而 CUSUM-UCB 和 PHT-UCB 分别实现子线性遗憾，$b=0.69$ 和 $0.79$。
• 在更大的 $K=100$ Yahoo! 实验中，CUSUM-UCB 保持强劲表现（$b=0.85$），而 PHT-UCB 略有退化至 $b=0.90$，表明其对高变化率较敏感。
• PHT-UCB 在低变化环境中优于 CUSUM-UCB，因其通过更新 $\hat{y}_k$ 实现更稳定的估计；但在高变化环境中，由于检测前估计发生漂移，导致性能下降。
• 实证结果证实，通过变化检测实现的主动自适应优于被动自适应，尤其在变化不频繁且可预测时表现更优。