[论文解读] Learning Modular Safe Policies in the Bandit Setting with Application to Adaptive Clinical Trials

Hossein Aboutalebi, Doina Precup+1 more|arXiv (Cornell University)|Mar 4, 2019

Advanced Bandit Algorithms Research参考文献 11被引用 3

一句话总结

本文提出了一种模块化的安全感知遗憾框架，用于多臂赌博机，支持在期望奖励之外灵活定义风险。该研究提出BESA+，一种改进的BESA算法，在多种安全准则下实现低遗憾，优于标准赌博机方法，在合成数据集和真实临床试验数据集中表现更优，尤其在偏好一致治疗而非高均值、高方差替代方案方面表现突出。

ABSTRACT

The stochastic multi-armed bandit problem is a well-known model for studying the exploration-exploitation trade-off. It has significant possible applications in adaptive clinical trials, which allow for dynamic changes in the treatment allocation probabilities of patients. However, most bandit learning algorithms are designed with the goal of minimizing the expected regret. While this approach is useful in many areas, in clinical trials, it can be sensitive to outlier data, especially when the sample size is small. In this paper, we define and study a new robustness criterion for bandit problems. Specifically, we consider optimizing a function of the distribution of returns as a regret measure. This provides practitioners more flexibility to define an appropriate regret measure. The learning algorithm we propose to solve this type of problem is a modification of the BESA algorithm [Baransi et al., 2014], which considers a more general version of regret. We present a regret bound for our approach and evaluate it empirically both on synthetic problems as well as on a dataset from the clinical trial literature. Our approach compares favorably to a suite of standard bandit algorithms.

研究动机与目标

• 为解决标准赌博机算法在临床试验中的局限性，即仅优化期望奖励，而异常值或方差可能扭曲结果。
• 开发一种模块化的遗憾定义，使从业者可根据特定领域的风险偏好，自定义安全性和一致性标准。
• 扩展BESA算法，以处理任意的安全感知遗憾函数，同时保持对超参数的低敏感性。
• 在合成环境和真实临床试验数据上实证验证BESA+，证明其在注重一致性的场景中表现更优。
• 提供一个公开可访问的网络模拟器，用于在用户自定义的安全准则下对赌博机算法进行基准测试。

提出的方法

• 提出一种模块化的安全感知遗憾函数，将期望遗憾推广至包含方差、CVaR或均值-方差权衡等分布特性。
• 修改BESA算法（即BESA+），以优化新的安全感知遗憾，使用经验均值和McDiarmid不等式获得集中性界。
• 采用基于采样的方法估计安全感知值函数，使算法能适应任意风险度量，而无需参数假设。
• 采用UCB风格的探索策略，结合基于经验风险估计的安全感知置信区间。
• 基于McDiarmid引理的理论遗憾界，确保在安全函数满足弱正则性条件时收敛。
• 开发基于网络的模拟器，允许用户自定义赌博机环境，并实时比较算法性能。

实验结果

研究问题

• RQ1 模块化的遗憾框架在小样本量、对异常值敏感的临床试验中，能否提升赌博机学习的鲁棒性？
• RQ2 在CVaR和均值-方差等安全感知遗憾定义下，BESA+相较于标准赌博机算法（如UCB1、Thompson Sampling、MV-LCB）表现如何？
• RQ3 在真实世界临床数据中，即使高均值、高方差治疗的平均生存时间更长，BESA+是否仍偏好方差更低、更一致的治疗？
• RQ4 所提出的框架能否支持任意的安全感知遗憾函数，而无需对算法进行重新设计？
• RQ5 网络模拟器在多大程度上支持在多样化安全准则下对赌博机算法进行可复现的基准测试？

主要发现

• 在合成的两臂和多臂高斯混合赌博机环境中，BESA+在CVaR和均值-方差安全函数下，累积遗憾均低于UCB1、Thompson Sampling、MV-LCB和ExpExp。
• 在真实肺癌患者临床试验数据集中，BESA+始终偏好治疗1，尽管治疗2的平均生存时间更长，但治疗1的方差更低、更一致。
• BESA+在最优臂选择中的占比始终高于基线方法，尤其在高方差环境中，表明其更有效地利用了稳定的治疗。
• 在两种安全准则下，BESA+在10次独立实验中表现出更低的方差，表明其对随机初始化和数据波动具有鲁棒性。
• 网络应用模拟器成功实现了用户自定义环境中对赌博机算法的实时比较，支持可复现性和可扩展性。
• 理论分析表明，BESA+在安全值函数满足弱假设时，可实现渐近遗憾界，证实其作为学习策略的可接受性。