[论文解读] The Non-Bayesian Restless Multi-Armed Bandit: a Case of Near-Logarithmic Regret

Wenhan Dai, Yi Gai+2 more|arXiv (Cornell University)|Nov 22, 2010

Advanced Bandit Algorithms Research参考文献 29被引用 4

一句话总结

本文提出了一种新颖的元策略方法，用于非贝叶斯的非齐次多臂赌博机（RMAB）问题，其中臂的转移参数未知。通过将已知最优策略集合中的策略视为元赌博机问题中的‘臂’，该方法在 $N=2,3$ 个独立同分布的通道下实现了近乎对数增长的遗憾——具体而言，遗憾被限制在 $O(G(n)"log n)$ 以内，与已知模型的全知策略性能相当。

ABSTRACT

In the classic Bayesian restless multi-armed bandit (RMAB) problem, there are $N$ arms, with rewards on all arms evolving at each time as Markov chains with known parameters. A player seeks to activate $K \geq 1$ arms at each time in order to maximize the expected total reward obtained over multiple plays. RMAB is a challenging problem that is known to be PSPACE-hard in general. We consider in this work the even harder non-Bayesian RMAB, in which the parameters of the Markov chain are assumed to be unknown \emph{a priori}. We develop an original approach to this problem that is applicable when the corresponding Bayesian problem has the structure that, depending on the known parameter values, the optimal solution is one of a prescribed finite set of policies. In such settings, we propose to learn the optimal policy for the non-Bayesian RMAB by employing a suitable meta-policy which treats each policy from this finite set as an arm in a different non-Bayesian multi-armed bandit problem for which a single-arm selection policy is optimal. We demonstrate this approach by developing a novel sensing policy for opportunistic spectrum access over unknown dynamic channels. We prove that our policy achieves near-logarithmic regret (the difference in expected reward compared to a model-aware genie), which leads to the same average reward that can be achieved by the optimal policy under a known model. This is the first such result in the literature for a non-Bayesian RMAB.

研究动机与目标

• 为解决非贝叶斯非齐次多臂赌博机问题，其中马尔可夫臂的转移概率事先未知。
• 开发一种学习框架，实现与已知模型下最优策略相当的次线性遗憾。
• 在未知动态信道下的机会式频谱接入场景中验证该方法。
• 证明遗憾随时间近乎对数增长，从而确保在平均奖励上的渐近最优性。

提出的方法

• 该方法将一组候选策略（每个策略均针对已知参数区域的最优策略）视为元赌博机问题中的‘臂’。
• 在元问题上应用非贝叶斯多臂赌博机算法，以学习哪一策略能带来最高奖励。
• 算法采用缓慢增长的探索调度 $K_n$，其中在第 $n$ 个阶段，每个策略被运行 $K_n$ 个时间步长。
• 采用类似上置信界（UCB）的选择规则，以在元赌博机中平衡探索与利用。
• 迭代跟踪并更新每个策略的样本平均奖励，以指导未来的策略选择。
• 该方法依赖于结构假设：贝叶斯 RMAB 具有有限数量的最优策略区域，从而支持元策略框架的构建。

实验结果

研究问题

• RQ1 非贝叶斯 RMAB 策略能否实现随时间近乎对数增长的遗憾，与已知模型的全知策略性能相当？
• RQ2 在马尔可夫参数未知的非齐次赌博机环境中，是否可以通过将候选策略视为元臂来学习最优策略？
• RQ3 非齐次 RMAB 结构需满足何种条件，才能使此类元策略方法实现次优遗憾？
• RQ4 当探索时长 $K_n$ 增长任意缓慢时，遗憾如何随时间演化？

主要发现

• 对于 $N=2,3$ 个独立同分布的通道且转移矩阵未知的情形，所提算法的期望遗憾被限制在 $O(G(n)\log n)$ 以内，其中 $G(n)$ 为任意缓慢发散的序列。
• 遗憾界为 $Z_1G(n)\ln n + Z_2\ln n + Z_3G(n) + Z_4$，其中常数 $Z_1, Z_2, Z_3, Z_4$ 仅依赖于真实转移矩阵 $\mathbf{P}$。
• 该方法确保平均奖励收敛至在已知模型下可达到的最大值，渐近意义上与全知策略性能一致。
• 该方法是首个在非贝叶斯 RMAB 设置下实现近乎对数遗憾的策略，为非齐次环境中的学习设立了新基准。
• 证明依赖于一个针对条件偏置随机变量的新型切尔诺夫-霍夫丁不等式变体，以及对非平稳初始信念导致的瞬态奖励损失的界。
• 若已知参数情形下贪心策略最优，则该结果可推广至任意 $N$，而该条件在 $N=2,3$ 及正相关信道下成立。