[论文解读] Restless-UCB, an Efficient and Low-complexity Algorithm for Online Restless Bandits

Siwei Wang, Longbo Huang+1 more|arXiv (Cornell University)|Nov 5, 2020

Advanced Bandit Algorithms Research参考文献 47被引用 11

一句话总结

本文提出 Restless-UCB，一种针对具有出生-死亡马尔可夫链的躁动 bandit 问题的低复杂度在线学习算法。该算法采用一种高效的离线实例构建方法，时间复杂度为 O(N)，并实现了 Õ((N + M³)T²/³) 的遗憾边界，消除了先前工作中存在于 M 和 N 中的指数因子，同时在真实世界数据集上的遗憾和运行时间方面均优于基线方法。

ABSTRACT

We study the online restless bandit problem, where the state of each arm evolves according to a Markov chain, and the reward of pulling an arm depends on both the pulled arm and the current state of the corresponding Markov chain. In this paper, we propose Restless-UCB, a learning policy that follows the explore-then-commit framework. In Restless-UCB, we present a novel method to construct offline instances, which only requires $O(N)$ time-complexity ($N$ is the number of arms) and is exponentially better than the complexity of existing learning policy. We also prove that Restless-UCB achieves a regret upper bound of $ ilde{O}((N+M^3)T^{2\over 3})$, where $M$ is the Markov chain state space size and $T$ is the time horizon. Compared to existing algorithms, our result eliminates the exponential factor (in $M,N$) in the regret upper bound, due to a novel exploitation of the sparsity in transitions in general restless bandit problems. As a result, our analysis technique can also be adopted to tighten the regret bounds of existing algorithms. Finally, we conduct experiments based on real-world dataset, to compare the Restless-UCB policy with state-of-the-art benchmarks. Our results show that Restless-UCB outperforms existing algorithms in regret, and significantly reduces the running time.

研究动机与目标

• 解决现有在线躁动 bandit 算法中计算复杂度过高及遗憾边界中存在指数因子的问题。
• 设计一种实用的学习策略，在保持理论保证的同时可扩展至大规模问题。
• 在遗憾边界中消除对臂的数量 N 和状态空间大小 M 的指数依赖。
• 设计一种新颖的离线实例构建方法，计算高效，并能实现有效的探索-利用权衡。
• 在真实世界的无线和任务分配数据集上，实证验证其优于最先进算法（如 Thompson Sampling 和 colored-UCRL2）。

提出的方法

• 提出 Restless-UCB，一种基于“探索后承诺”框架的在线躁动 bandit 算法策略。
• 提出一种新颖的离线实例构建方法，时间复杂度为 O(N)，显著优于 prior 方法（如 colored-UCRL2）的指数复杂度。
• 利用出生-死亡马尔可夫链中转移矩阵的稀疏性，降低遗憾复杂度并避免指数因子。
• 通过偏差向量分析和直径相关边界推导出紧致的遗憾上界，改进了现有理论保证。
• 将该方法应用于涉及无线信道选择和任务分配的真实世界数据集，以验证性能。
• 利用理论工具（如引理 16）来界定值函数的差异，并将遗憾常数降至多项式阶。

实验结果

研究问题

• RQ1 我们能否设计一种在线躁动 bandit 算法，其遗憾为多项式形式，且避免对 N 和 M 的指数依赖？
• RQ2 是否可能以 O(N) 复杂度而非指数时间构建用于策略指导的离线实例？
• RQ3 通过利用转移矩阵中的结构稀疏性，能否消除遗憾边界中的指数因子？
• RQ4 在真实世界环境中，所提出的算法与 Thompson Sampling 和 colored-UCRL2 相比表现如何？
• RQ5 所提出的理论分析技术是否可推广，以收紧现有算法的遗憾边界？

主要发现

• Restless-UCB 实现了 Õ((N + M³)T²/³) 的遗憾上界，消除了先前算法中存在于 M 和 N 的指数因子。
• 离线实例构建方法的时间复杂度为 O(N)，相较于 colored-UCRL2 的指数复杂度实现了指数级改进。
• 该算法显著降低了运行时间，同时在真实世界的无线和任务分配数据集上，累积遗憾优于 Thompson Sampling 和 colored-UCRL2。
• 理论分析表明，通过应用所提出的偏差向量分析，现有 Thompson Sampling 和 colored-UCRL2 的遗憾边界可收紧至 O(M/(1−λ_max)√T)，即多项式因子。
• 该方法的核心分析技术（基于引理 16）具有通用性，可推广用于改进 Restless-UCB 之外其他学习策略的遗憾边界。
• 在包含 2 和 3 个频段的实测数据集上的实验表明，Restless-UCB 始终优于最先进基准，实现更低的遗憾。