[论文解读] An Asymptotically Optimal Index Policy for Finite-Horizon Restless Bandits

Weici Hu, Peter I. Frazier|arXiv (Cornell University)|Jul 1, 2017

Advanced Bandit Algorithms ResearchDecision Sciences被引用 20

一句话总结

本文提出了一种针对有限时域、每period 多次抽取的非齐次多臂赌博机问题的渐近最优索引策略，采用拉格朗日松弛法将问题解耦为单臂子问题。该策略基于这些子问题的最优解计算索引，并在臂的数量增加时证明了渐近最优性，无需索引可及性条件，在模拟中优于最先进的启发式方法。

ABSTRACT

We consider restless multi-armed bandit (RMAB) with a finite horizon and multiple pulls per period. Leveraging the Lagrangian relaxation, we approximate the problem with a collection of single arm problems. We then propose an index-based policy that uses optimal solutions of the single arm problems to index individual arms, and offer a proof that it is asymptotically optimal as the number of arms tends to infinity. We also use simulation to show that this index-based policy performs better than the state-of-art heuristics in various problem settings.

研究动机与目标

• 为每period 多次抽取的有限时域非齐次多臂赌博机问题开发一种计算上可行的策略。
• 将基于索引的策略适用范围从无限时域和单次抽取设置扩展至更广泛的情境。
• 消除对索引可及性条件的需求，该条件是先前如Whittle索引方法有效性的关键限制。
• 在一般设置下（无状态空间限制），证明当臂的数量趋于无穷大时，策略具有渐近最优性。
• 通过数值模拟，展示该策略在有限样本情形下优于现有启发式方法的性能。

提出的方法

• 利用拉格朗日松弛法，将约束型多臂赌博机问题转化为一组解耦的单臂问题。
• 基于松弛约束下各臂对应单臂问题的最优解，为其推导出一个索引。
• 采用流极限分析与收敛性论证，证明当臂的数量趋于无穷大时，策略具有渐近最优性。
• 采用状态空间聚合技术分析系统在流极限下的行为，证明经验分布收敛到确定性流。
• 对单臂问题采用动态规划公式化方法计算索引，确保计算可行性与臂的数量无关。
• 通过基准问题的模拟验证策略性能，与最先进的启发式方法进行对比。

实验结果

研究问题

• RQ1 能否为有限时域、每period 多次抽取的非齐次多臂赌博机问题构造一种索引策略，使其在臂的数量增加时仍保持计算上的可行性？
• RQ2 该策略是否能在不依赖索引可及性条件的前提下，实现当臂和抽取次数趋于无穷大时的渐近最优性？
• RQ3 在有限样本情形下，所提出的索引策略性能与现有启发式方法相比如何？
• RQ4 能否在不施加状态空间限制（如最多三个状态）的条件下，建立渐近最优性结果？
• RQ5 所提出的索引策略是否对一般的马尔可夫转移结构和奖励函数具有鲁棒性？

主要发现

• 在一般条件下，当臂的数量与每period 的抽取次数以相同速率趋于无穷大时，所提出的索引策略具有渐近最优性。
• 该策略无需索引可及性条件，而这是Whittle索引在一般设置下的一项关键限制。
• 渐近最优性证明不依赖于每臂状态空间的大小，与先前需限制为三状态结果不同。
• 模拟结果表明，该策略在包括广告投放、临床试验和众包标注在内的多样化问题实例中，始终优于最先进的启发式方法。
• 索引计算仅基于单臂优化，使该方法在大规模问题中具有良好的计算可扩展性。
• 流极限分析表明，臂状态的经验分布以概率几乎处处收敛到确定性流，支持渐近最优性结果。