[论文解读] Collapsing Bandits and Their Application to Public Health Interventions

Aditya Mate, Jackson A. Killian+3 more|arXiv (Cornell University)|Jul 5, 2020

Advanced Bandit Algorithms Research参考文献 28被引用 15

一句话总结

本文提出了坍塌老虎机（Collapsing Bandits），一种新颖的非休息型多臂老虎机框架，适用于公共卫生调度场景，其中干预措施可完全揭示患者状态，从而减少不确定性。该研究推导出索引可实现性条件与最优阈值策略，提出一种Whittle索引算法，在真实世界结核病依从性数据上实现比现有最先进方法快1,000倍的性能，同时保持相近的性能表现。

ABSTRACT

We propose and study Collpasing Bandits, a new restless multi-armed bandit (RMAB) setting in which each arm follows a binary-state Markovian process with a special structure: when an arm is played, the state is fully observed, thus "collapsing" any uncertainty, but when an arm is passive, no observation is made, thus allowing uncertainty to evolve. The goal is to keep as many arms in the "good" state as possible by planning a limited budget of actions per round. Such Collapsing Bandits are natural models for many healthcare domains in which workers must simultaneously monitor patients and deliver interventions in a way that maximizes the health of their patient cohort. Our main contributions are as follows: (i) Building on the Whittle index technique for RMABs, we derive conditions under which the Collapsing Bandits problem is indexable. Our derivation hinges on novel conditions that characterize when the optimal policies may take the form of either "forward" or "reverse" threshold policies. (ii) We exploit the optimality of threshold policies to build fast algorithms for computing the Whittle index, including a closed-form. (iii) We evaluate our algorithm on several data distributions including data from a real-world healthcare task in which a worker must monitor and deliver interventions to maximize their patients' adherence to tuberculosis medication. Our algorithm achieves a 3-order-of-magnitude speedup compared to state-of-the-art RMAB techniques while achieving similar performance.

研究动机与目标

• 建立公共卫生调度问题的建模方法，其中卫生工作者在每日访问次数有限的条件下监控并治疗患者。
• 应对在部分可观测性与资源约束下维持患者治疗依从性的挑战。
• 为具有二值状态马尔可夫过程与部分状态观测的非休息型多臂老虎机问题，开发一种快速、可扩展的解决方案。
• 建立该问题可索引化的理论条件，并证明最优策略为阈值策略。
• 在真实世界与合成数据上评估该方法，验证其高效性与强大性能。

提出的方法

• 提出一种新的非休息型多臂老虎机子类——坍塌老虎机，其中触发某一支臂可揭示其真实状态，从而消除不确定性，而未被触发的支臂则在无观测下持续演化。
• 基于Whittle索引理论，推导出索引可实现性的充分条件，识别出最优策略为前向或反向阈值策略的情形。
• 基于阈值策略的最优性，开发一种闭式Whittle索引计算方法，实现快速索引计算。
• 采用拉格朗日松弛与对偶分解方法，将约束型非休息型多臂老虎机问题转化为可通过基于索引的启发式方法求解的松弛问题。
• 实现一种高效算法，可快速计算索引，尤其适用于在前向阈值策略下信念概率非递增的过程。
• 使用真实世界结核病依从性数据与具有不同转移动态与不确定性水平的合成分布验证该方法。

实验结果

研究问题

• RQ1 在何种条件下，可使用Whittle索引方法对坍塌老虎机问题实现索引化？
• RQ2 坍塌老虎机的最优策略在何种情况下呈现为前向或反向阈值策略？
• RQ3 能否为该类非休息型多臂老虎机问题推导出闭式Whittle索引，以实现可扩展计算？
• RQ4 与现有最先进非休息型多臂老虎机技术相比，所提算法在真实世界与合成医疗调度任务中的表现如何？
• RQ5 当应用于理论最优性条件之外的过程时，该算法的鲁棒性如何？

主要发现

• 所提算法在真实世界结核病依从性数据上实现超过1,000倍的性能提升，即3个数量级的速度提升。
• 尽管具备显著的速度优势，该方法在真实世界数据上仍与最佳现有方法（Oracle）性能相当。
• 在合成环境中，即使前向阈值最优过程的比例低至20%，该算法仍保持强劲性能，表明其在理论保证范围外也具备鲁棒性。
• Whittle索引方法在短期奖励具有误导性的场景中优于贪心策略，例如当自修复过程占主导但长期策略更倾向于不可恢复过程时。
• 状态不确定性导致的性能下降在信念熵接近0.5时最为显著，证实了在高不确定性环境下长期规划的重要性。
• 理论分析确认，在特定条件下阈值策略为最优，且推导出的闭式索引可实现高效计算，同时不损失精度。