[论文解读] Non-Stationary Bandits with Habituation and Recovery Dynamics

Yonatan Mintz, Anil Aswani+3 more|arXiv (Cornell University)|Jul 26, 2017

Advanced Bandit Algorithms Research参考文献 80被引用 12

一句话总结

本文提出ROGUE猎手（ROGUE bandits），一种新颖的非平稳多臂老虎机框架，用于建模顺序决策中的习惯化与恢复动态。通过利用最大似然估计与有限样本浓度不等式，作者开发了ROGUE-UCB与ε-ROGUE算法，实现对数 regret，显著优于最先进的方法，在个性化医疗干预中表现更优，模拟中使每日步数增加约1,000步。

ABSTRACT

Many settings involve sequential decision-making where a set of actions can be chosen at each time step, each action provides a stochastic reward, and the distribution for the reward of each action is initially unknown. However, frequent selection of a specific action may reduce its expected reward, while abstaining from choosing an action may cause its expected reward to increase. Such non-stationary phenomena are observed in many real world settings such as personalized healthcare-adherence improving interventions and targeted online advertising. Though finding an optimal policy for general models with non-stationarity is PSPACE-complete, we propose and analyze a new class of models called ROGUE (Reducing or Gaining Unknown Efficacy) bandits, which we show in this paper can capture these phenomena and are amenable to the design of effective policies. We first present a consistent maximum likelihood estimator for the parameters of these models. Next, we construct finite sample concentration bounds that lead to an upper confidence bound policy called the ROGUE Upper Confidence Bound (ROGUE-UCB) algorithm. We prove that under proper conditions the ROGUE-UCB algorithm achieves logarithmic in time regret, unlike existing algorithms which result in linear regret. We conclude with a numerical experiment using real data from a personalized healthcare-adherence improving intervention to increase physical activity. In this intervention, the goal is to optimize the selection of messages (e.g., confidence increasing vs. knowledge increasing) to send to each individual each day to increase adherence and physical activity. Our results show that ROGUE-UCB performs better in terms of regret and average reward as compared to state of the art algorithms, and the use of ROGUE-UCB increases daily step counts by roughly 1,000 steps a day (about a half-mile more of walking) as compared to other algorithms.

研究动机与目标

• 解决平稳老虎机模型在行为场景中的局限性，其中重复使用某项行动会导致习惯化，而通过避免使用可实现恢复。
• 在个性化医疗干预中对非平稳奖励动态进行建模，其中行动频率影响长期疗效。
• 开发一种灵活且可分析的老虎机框架，捕捉习惯化与恢复过程，而无需预先知晓奖励动态。
• 设计在标准方法失效的非平稳环境中具备可证明 regret 保证的算法。
• 使用来自一项身体活动干预的真实世界数据，实证验证所提算法的优越性。

提出的方法

• 提出一类新型非平稳老虎机——ROGUE（Reducing or Gaining Unknown Efficacy）猎手，用于建模行动奖励中的习惯化与恢复。
• 开发一种一致的最大似然估计（MLE）方法，用于从观测到的奖励与行动历史中学习模型参数。
• 推导 MLE 估计的有限样本浓度不等式，以支持对算法性能的严格理论分析。
• 设计 ROGUE-UCB，一种基于置信上界的方法，利用估计的不确定性平衡探索与利用。
• 设计 ε-ROGUE，一种 ε-贪心算法，通过衰减的探索率平衡利用与探索。
• 采用拉普拉斯噪声模型建模奖励似然，以实现离线参数估计的混合整数规划重构。

实验结果

研究问题

• RQ1 非平稳老虎机模型能否有效捕捉行为干预中的习惯化与恢复动态？
• RQ2 能否为 ROGUE 猎手设计出在非平稳环境下实现对数 regret 的可证明高效算法？
• RQ3 基于 MLE 的参数估计与有限样本浓度不等式如何在此设定中实现可靠策略学习？
• RQ4 ROGUE-UCB 与 ε-ROGUE 在 regret 与平均奖励方面是否显著优于现有最先进老虎机算法？
• RQ5 所提框架能否在真实世界个性化医疗干预中显著改善结果？

主要发现

• ROGUE-UCB 与 ε-ROGUE 在期望下实现对数 regret，而现有算法在非平稳环境中通常产生线性 regret。
• 在基于真实世界数据的个性化身体活动干预模拟中，ROGUE-UCB 相较于次优算法，使每日步数平均增加约 1,000 步。
• ROGUE-UCB 在累积 regret 上优于 ε-ROGUE，且因早期探索减少而获得更高的初始奖励。
• ROGUE-UCB 与 ε-ROGUE 在平均奖励与累积 regret 方面均显著优于纯探索与 D-UCB 方法。
• 成功推导出 MLE 估计的有限样本浓度不等式，并用于证明所提算法的理论性能保证。
• 在奖励模型中使用拉普拉斯噪声，使基于混合整数规划求解器的离线参数估计成为可能，从而促进实际部署。