[论文解读] Adaptive Exploration-Exploitation Tradeoff for Opportunistic Bandits

Huasen Wu, Xueying Guo+1 more|arXiv (Cornell University)|Sep 12, 2017

Advanced Bandit Algorithms Research参考文献 15被引用 15

一句话总结

本文提出了机会性老虎机（opportunistic bandits）模型，其中选择次优臂的损失（regret）随外部条件（如负载或价格）而变化。提出AdaUCB算法，一种自适应的上置信界（Upper-Confidence-Bound）算法，在损失较低时（例如低负载/低价格时）增加探索，从而在损失系数小于UCB的情况下实现O(log T)的损失，且在低负载条件下探索成本为零时达到O(1)的损失。

ABSTRACT

In this paper, we propose and study opportunistic bandits - a new variant of bandits where the regret of pulling a suboptimal arm varies under different environmental conditions, such as network load or produce price. When the load/price is low, so is the cost/regret of pulling a suboptimal arm (e.g., trying a suboptimal network configuration). Therefore, intuitively, we could explore more when the load/price is low and exploit more when the load/price is high. Inspired by this intuition, we propose an Adaptive Upper-Confidence-Bound (AdaUCB) algorithm to adaptively balance the exploration-exploitation tradeoff for opportunistic bandits. We prove that AdaUCB achieves $O(\log T)$ regret with a smaller coefficient than the traditional UCB algorithm. Furthermore, AdaUCB achieves $O(1)$ regret with respect to $T$ if the exploration cost is zero when the load level is below a certain threshold. Last, based on both synthetic data and real-world traces, experimental results show that AdaUCB significantly outperforms other bandit algorithms, such as UCB and TS (Thompson Sampling), under large load/price fluctuations.

研究动机与目标

• 为解决传统老虎机中次优臂损失恒定的局限性，通过建模外部条件（如网络负载或商品价格）变化时损失随之变化的场景。
• 提出一种新型老虎机框架——机会性老虎机，其中最优臂保持不变，但损失依赖于时变的环境条件。
• 设计一种自适应算法，利用低损失时段（如低负载或低价格）增加探索，以降低总体损失。
• 理论上分析并实证验证所提出的AdaUCB算法在负载波动条件下，其损失可被严格证明低于标准UCB和Thompson Sampling。

提出的方法

• 提出机会性老虎机模型，其中次优臂的损失取决于在动作选择前可观察到的时变负载或价格条件。
• 设计AdaUCB，一种自适应的UCB变体，根据当前负载水平动态调整探索：负载低时（损失低）增加探索，负载高时（损失高）增加利用。
• 使用负载阈值 $ l^{(-)}_{\rho} $ 和 $ l^{(+)}_{\rho} $ 定义低负载和高负载区域，其中 $ \rho $ 控制截断的尾部概率。
• 通过引入与负载相关的损失缩放因子，对UCB置信区间进行调整，使算法在低损失时期优先选择不确定性更高的臂。
• 采用截断的负载分布以稳定性能并降低对极端负载值的敏感性。
• 使用伯努利分布和贝塔分布的合成数据，以及来自MVNO系统的实际网络性能数据轨迹，对算法进行评估。

实验结果

研究问题

• RQ1 在次优臂代价随环境条件（如负载或价格）变化的老虎机问题中，自适应探索-利用策略是否能降低损失？
• RQ2 是否可以通过在低损失时期（如低网络负载或低商品价格）增加探索，实现优于标准UCB的可证明更优损失性能？
• RQ3 当低负载条件下探索成本为零时，所提出的AdaUCB算法是否能在时间跨度T上实现O(1)的损失？
• RQ4 在合成与真实世界场景下，面对较大的负载波动，AdaUCB与UCB和Thompson Sampling相比，在损失降低方面表现如何？
• RQ5 所提出的E-AdaUCB变体无需事先知晓负载分布，其性能是否与AdaUCB在实践中无显著差异？

主要发现

• AdaUCB实现了O(log T)的损失，且常数系数小于传统UCB，表明其理论损失界得到显著改进。
• 当负载低于阈值时探索成本为零的条件下，AdaUCB在时间T上实现O(1)的损失，表明在有利环境中接近最优性能。
• 在二值和贝塔分布负载的合成实验中，AdaUCB显著优于UCB(α)和Thompson Sampling，尤其在高负载波动下表现更优。
• 在真实世界的MVNO数据轨迹上，AdaUCB将损失降低至UCB(α)的约三分之一，展现出强大的实际有效性。
• 无需负载分布先验知识的E-AdaUCB变体在实践中与AdaUCB性能无显著差异，表明其具有鲁棒性和实际适用性。
• 结果证实，利用负载波动实现自适应探索可带来显著性能提升，尤其在环境存在大范围且频繁的负载变化时。