[论文解读] Indexability of Restless Bandit Problems and Optimality of Index Policies for Dynamic Multichannel Access

Keqin Liu, Qing Zhao|arXiv (Cornell University)|Oct 26, 2008

Advanced Bandit Algorithms Research参考文献 19被引用 1

一句话总结

本文建立了索引可实现性，并为动态多信道接入中的顽皮多臂赌博机问题推导出闭式 Whittle 索引，从而实现低复杂度的索引策略。在信道随机同质性与半通用性条件下证明了最优性，并通过拉格朗日松弛法为非同质信道提供了性能界。

ABSTRACT

We consider a class of restless multi-armed bandit problems (RMBP) that arises in dynamic multichannel access, user/server scheduling, and optimal activation in multi-agent systems. For this class of RMBP, we establish the indexability and obtain Whittle's index in closed-form for both discounted and average reward criteria. These results lead to a direct implementation of Whittle's index policy with remarkably low complexity. When these Markov chains are stochastically identical, we show that Whittle's index policy is optimal under certain conditions. Furthermore, it has a semi-universal structure that obviates the need to know the Markov transition probabilities. The optimality and the semi-universal structure result from the equivalency between Whittle's index policy and the myopic policy established in this work. For non-identical channels, we develop efficient algorithms for computing a performance upper bound given by Lagrangian relaxation. The tightness of the upper bound and the near-optimal performance of Whittle's index policy are illustrated with simulation examples.

研究动机与目标

• 为使用顽皮多臂赌博机问题（RMBP）解决多智能体系统中的动态多信道接入与用户调度问题。
• 建立索引可实现性，并为折现奖励与平均奖励准则推导闭式 Whittle 索引。
• 在信道随机同质性条件下证明 Whittle 索引策略的最优性，并展示其半通用结构。
• 开发高效算法，利用拉格朗日松弛法在非同质信道场景下计算性能上界。

提出的方法

• 形式化动态多信道接入与多智能体调度中出现的一类 RMBP。
• 为折现奖励与平均奖励准则推导 Whittle 索引的闭式表达式。
• 在信道随机同质性条件下，建立 Whittle 索引策略与贪心策略的等价性，从而实现半通用实现。
• 应用拉格朗日松弛法，为非同质信道场景计算紧密的性能上界。
• 由于闭式索引表达式的存在，实现 Whittle 索引策略时计算复杂度极低。
• 通过仿真示例验证性能，结果表明其行为接近最优，且上界紧密。

实验结果

研究问题

• RQ1 在何种条件下，Whittle 索引策略对动态多信道接入中的顽皮赌博机问题具有最优性？
• RQ2 在此类 RMBP 中，Whittle 索引能否为折现奖励与平均奖励准则均推导出闭式表达式？
• RQ3 在信道随机同质性条件下，贪心策略是否仍与 Whittle 索引策略等价？
• RQ4 通过拉格朗日松弛法为非同质信道推导的性能上界有多紧密？
• RQ5 在信道同质情况下，Whittle 索引策略是否可在不掌握马尔可夫转移概率的情况下实现？

主要发现

• 为折现奖励与平均奖励准则均推导出 Whittle 索引的闭式表达式，实现直接且低复杂度的实现。
• 在信道随机同质性条件下，Whittle 索引策略具有最优性，并表现出无需知晓马尔可夫转移概率的半通用结构。
• Whittle 索引策略与贪心策略的等价性，是索引策略最优性与半通用性的基础。
• 对于非同质信道，拉格朗日松弛法提供了紧密的性能上界，证实了 Whittle 索引策略的近似最优性。
• 仿真结果表明，Whittle 索引策略在各种信道配置下均能实现接近最优的性能。
• 闭式索引表达式显著降低了计算复杂度，相比以往需要迭代计算的方法具有明显优势。