[论文解读] Algorithms for multi-armed bandit problems

Volodymyr Kuleshov, Doina Precup|arXiv (Cornell University)|Feb 25, 2014

Advanced Bandit Algorithms Research参考文献 11被引用 235

一句话总结

本文对多臂老虎机算法进行了全面的实证评估，结果表明，简单的启发式方法（如ε-贪婪和Boltzmann探索）在大多数场景下优于理论上最优的算法（如UCB1-Tuned）。在临床试验模拟中，基于老虎机的分配方式使患者治疗成功率至少提高50%，同时减少了不良反应并提高了保留率。

ABSTRACT

Although many algorithms for the multi-armed bandit problem are well-understood theoretically, empirical confirmation of their effectiveness is generally scarce. This paper presents a thorough empirical study of the most popular multi-armed bandit algorithms. Three important observations can be made from our results. Firstly, simple heuristics such as epsilon-greedy and Boltzmann exploration outperform theoretically sound algorithms on most settings by a significant margin. Secondly, the performance of most algorithms varies dramatically with the parameters of the bandit problem. Our study identifies for each algorithm the settings where it performs well, and the settings where it performs poorly. Thirdly, the algorithms' performance relative each to other is affected only by the number of bandit arms and the variance of the rewards. This finding may guide the design of subsequent empirical evaluations. In the second part of the paper, we turn our attention to an important area of application of bandit algorithms: clinical trials. Although the design of clinical trials has been one of the principal practical problems motivating research on multi-armed bandits, bandit algorithms have never been evaluated as potential treatment allocation strategies. Using data from a real study, we simulate the outcome that a 2001-2002 clinical trial would have had if bandit algorithms had been used to allocate patients to treatments. We find that an adaptive trial would have successfully treated at least 50% more patients, while significantly reducing the number of adverse effects and increasing patient retention. At the end of the trial, the best treatment could have still been identified with a high level of statistical confidence. Our findings demonstrate that bandit algorithms are attractive alternatives to current adaptive treatment allocation strategies.

研究动机与目标

• 对流行多臂老虎机算法的性能进行实证评估，超越理论界限。
• 识别影响算法性能相对关系的问题特征（如臂的数量和奖励方差）。
• 使用真实世界数据评估老虎机算法在临床试验场景中的实际可行性。
• 为未来对老虎机算法的实证评估提供基准。

提出的方法

• 在12种不同的老虎机问题配置下进行广泛模拟，这些配置在臂的数量和奖励方差方面各不相同。
• 评估了10种广泛使用的老虎机算法，包括ε-贪婪、Boltzmann探索、UCB1、UCB1-Tuned和强化比较。
• 使用总期望遗憾作为主要性能指标，定义为 RT = Tμ* − Σμj(t)，其中 T 为步骤数。
• 使用2001–2002年真实临床试验中的患者数据，模拟了自适应治疗分配。
• 针对每个问题实例，将每种算法调优至其最优参数，以确保公平比较。
• 测量了包括成功治疗患者数量、不良反应、渴求程度（VAS和ARSW评分）以及患者保留率在内的结果。

实验结果

研究问题

• RQ1 理论上合理的老虎机算法在实践中是否始终优于简单启发式方法？
• RQ2 哪些问题特征（如臂的数量或奖励方差）对算法性能的影响最为显著？
• RQ3 老虎机算法的性能在不同老虎机问题实例之间如何变化？
• RQ4 与随机化相比，基于老虎机的自适应治疗分配在临床试验中是否能改善患者结果？
• RQ5 老虎机算法在最大化患者获益的同时，能在多大程度上保持对最佳治疗的统计置信？

主要发现

• 简单启发式方法（如ε-贪婪和Boltzmann探索）在大多数场景下持续优于理论上最优的算法（如UCB1-Tuned），生成的遗憾至少减少50%。
• 仅有两个问题特征——臂的数量和奖励方差——显著影响算法性能的相对表现，尽管理论上预期其他因素也有影响。
• 算法性能在不同问题实例之间表现出巨大差异，每种算法在特定场景中表现优异，而这些场景无法由现有理论预测。
• 在临床试验模拟中，基于老虎机的分配方式使成功治疗的患者数量至少比随机化多50%，不良反应显著减少，渴求评分更低。
• 基于老虎机的试验中患者保留率显著提高，且在试验结束时仍能以高统计置信度识别出最佳治疗。
• 本研究证明，老虎机算法是现实世界自适应临床试验的强有力候选方案，既能改善患者结果，又能高效识别最佳治疗。