[论文解读] An optimal learning method for developing personalized treatment regimes

Yingfei Wang, Warren B. Powell|arXiv (Cornell University)|Jul 6, 2016

Advanced Bandit Algorithms Research参考文献 36被引用 5

一句话总结

本文提出了一种贝叶斯知识梯度策略，用于在医疗保健中使用上下文Bandit算法优化个性化治疗方案，通过逻辑回归和近似方法平衡探索与利用。在真实的膝关节置换数据集上，该方法通过基于患者特定数据智能选择医生并从每次结果中学习，使成功率相比随机分配提高了约25%。

ABSTRACT

A treatment regime is a function that maps individual patient information to a recommended treatment, hence explicitly incorporating the heterogeneity in need for treatment across individuals. Patient responses are dichotomous and can be predicted through an unknown relationship that depends on the patient information and the selected treatment. The goal is to find the treatments that lead to the best patient responses on average. Each experiment is expensive, forcing us to learn the most from each experiment. We adopt a Bayesian approach both to incorporate possible prior information and to update our treatment regime continuously as information accrues, with the potential to allow smaller yet more informative trials and for patients to receive better treatment. By formulating the problem as contextual bandits, we introduce a knowledge gradient policy to guide the treatment assignment by maximizing the expected value of information, for which an approximation method is used to overcome computational challenges. We provide a detailed study on how to make sequential medical decisions under uncertainty to reduce health care costs on a real world knee replacement dataset. We use clustering and LASSO to deal with the intrinsic sparsity in health datasets. We show experimentally that even though the problem is sparse, through careful selection of physicians (versus picking them at random), we can significantly improve the success rates.

研究动机与目标

• 开发一种在线学习方法，持续根据实时患者结果更新治疗方案，以降低医疗成本。
• 通过整合聚类和LASSO方法实现特征选择与降维，解决稀疏、高维医疗数据的挑战。
• 以一种最大化个性化医疗长期成功率的方式，平衡探索（学习新的治疗效果）与利用（选择当前最优治疗）。
• 通过高效利用每位患者互动的信息，使更小、更具信息量的临床试验成为可能，结合贝叶斯推断实现。
• 基于个体患者特征和历史表现，分配最合适的医生和治疗方案，以改善患者预后。

提出的方法

• 将个性化治疗问题建模为具有二元结果（成功/失败）和患者特异性特征的上下文Bandit问题。
• 使用贝叶斯逻辑回归，将治疗成功的概率建模为患者属性和治疗选择（如医生）的函数。
• 应用知识梯度策略，选择能最大化信息预期价值的治疗方案，从而在保持高性能的同时促进学习。
• 采用知识梯度的近似方法，以克服高维设置下的计算不可行性。
• 结合聚类和LASSO方法，通过将相似患者分组并选择相关特征，处理健康数据集中的稀疏性问题。
• 使用后验抽样（Thompson抽样）和纯利用作为基线，在实验评估中进行比较。

实验结果

研究问题

• RQ1 当每次实验（患者治疗）成本高昂且数据稀疏时，如何实现实时优化个性化治疗方案？
• RQ2 贝叶斯知识梯度策略在减少治疗失败率方面，与纯利用和纯探索相比，能多大程度上表现更优？
• RQ3 聚类和LASSO是否能有效降低稀疏、真实世界医疗数据集中的维度，并提升性能？
• RQ4 在医疗决策背景下，知识梯度策略如何比Thompson抽样更准确地平衡探索与利用？
• RQ5 调节参数η对学习速度与治疗分配性能方差之间权衡的影响是什么？

主要发现

• 当η = 0.5时，知识梯度策略实现了最高的累积成功率，在膝关节置换数据集上优于纯利用、随机分配和Thompson抽样。
• 即使在高度稀疏的数据中——其中没有两名患者完全相同——该方法仍使成功率相比随机医生分配提高了约25%。
• 尽管缺乏先验知识，纯利用策略表现良好，可能归因于上下文诱导的探索，但其方差高于知识梯度策略。
• Thompson抽样虽然计算效率高，但对探索-利用权衡的近似不如知识梯度策略准确，后者明确建模了信息的价值。
• 知识梯度策略展现出快速学习能力，能够更快识别最优治疗方案，从而更快使患者受益。
• 聚类与LASSO的使用有效缓解了数据稀疏性问题，增强了真实临床环境中的模型稳定性和预测性能。