[论文解读] Robust Hybrid Learning for Estimating Personalized Dynamic Treatment Regimens

Ying Liu, Yuanjia Wang+3 more|arXiv (Cornell University)|Nov 7, 2016

Control Systems and Identification参考文献 29被引用 27

一句话总结

本文提出增强型多阶段结果加权学习（AMOL），一种结合结果加权学习与Q-learning的稳健混合方法，用于从序列多重分配随机试验（SMARTs）中估计最优个性化动态治疗方案（DTRs）。AMOL通过整合双重稳健增广，提升了数值稳定性、效率与鲁棒性，并在模型误设情况下仍能实现对最优值函数的一致估计，且具有收敛速率。

ABSTRACT

Dynamic treatment regimens (DTRs) are sequential decision rules tailored at each stage by potentially time-varying patient features and intermediate outcomes observed in previous stages. The complexity, patient heterogeneity and chronicity of many diseases and disorders call for learning optimal DTRs which best dynamically tailor treatment to each individual's response over time. Proliferation of personalized data (e.g., genetic and imaging data) provides opportunities for deep tailoring as well as new challenges for statistical methodology. In this work, we propose a robust hybrid approach referred as Augmented Multistage Outcome-Weighted Learning (AMOL) to integrate outcome-weighted learning and Q-learning to identify optimal DTRs from the Sequential Multiple Assignment Randomization Trials (SMARTs). We generalize outcome weighted learning (O-learning; Zhao et al.~2012) to allow for negative outcomes; we propose methods to reduce variability of weights in O-learning to achieve numeric stability and higher efficiency; finally, for multiple-stage SMART studies, we introduce doubly robust augmentation to machine learning based O-learning to improve efficiency by drawing information from regression model-based Q-learning at each stage. The proposed AMOL remains valid even if the Q-learning model is misspecified. We establish the theoretical properties of AMOL, including the consistency of the estimated rules and the rates of convergence to the optimal value function. The comparative advantage of AMOL over existing methods is demonstrated in extensive simulation studies and applications to two SMART data sets: a two-stage trial for attention deficit and hyperactive disorder (ADHD) and the STAR*D trial for major depressive disorder (MDD).

研究动机与目标

• 解决在存在高维、时变患者特征与中间结果的情况下，估计最优动态治疗方案（DTRs）的挑战。
• 通过减少权重变异，提升结果加权学习（O-learning）的数值稳定性和估计效率。
• 开发一种双重稳健增广框架，将基于机器学习的O-learning与各阶段的回归基Q-learning相结合。
• 确保即使Q-learning模型误设，所估计DTR的有效性与一致性。
• 为所提出方法建立理论收敛速率与有限样本性能保证。

提出的方法

• 提出AMOL，一种混合方法，通过在多阶段SMART设计的每个阶段引入双重稳健增广，将结果加权学习（O-learning）与Q-learning相结合。
• 将O-learning推广至可处理负向结果，扩大其在多样化临床反应指标中的适用性。
• 引入结果权重的方差减少技术，以增强数值稳定性和估计效率。
• 采用反向归纳法，结合同时包含结果加权与回归基估计的增广损失函数，以提升鲁棒性。
• 采用正则化与基于估计权重和阶段特异性函数的损失函数的经验风险最小化。
• 应用集中不等式与基于熵的界，推导在模型误设条件下的理论收敛速率。

实验结果

研究问题

• RQ1 结果加权学习能否推广至处理负向结果，同时保持数值稳定性？
• RQ2 如何减少O-learning中的权重变异，以提升估计效率与稳定性？
• RQ3 结合O-learning与Q-learning的混合方法能否在估计最优DTRs方面实现更优性能？
• RQ4 所提出的双重稳健增广是否能在模型误设下提升估计效率与鲁棒性？
• RQ5 所提出方法到最优值函数的理论收敛速率为何？

主要发现

• AMOL即使在Q-learning模型误设的情况下，也能实现对最优DTRs的一致估计，确保方法论的有效性。
• 该方法通过减少结果权重的方差，显著提升了数值稳定性和效率，尤其在小至中等样本量下表现突出。
• 理论分析建立了估计值函数向最优值函数收敛的速率，其速率取决于函数类的复杂度与样本量。
• 模拟研究显示，在各种模型误设情景下，AMOL在值函数估计与规则准确性方面均优于现有方法。
• 在两项真实SMART数据集（ADHD试验与STAR*D MDD试验）中的应用，证明了AMOL在识别最优治疗序列方面的实际效用与卓越性能。
• 双重稳健增广显著提升了估计效率，通过同时借用机器学习与回归基建模方法的优势。