[论文解读] Deep Reinforcement Learning for Dynamic Treatment Regimes on Medical Registry Data

Ning Liu, Ying Liu+4 more|arXiv (Cornell University)|Jan 28, 2018

Advanced Causal Inference Techniques参考文献 23被引用 9

一句话总结

本文提出了一种新颖的深度强化学习（DRL）框架，旨在从高维、观察性医疗注册数据库中学习最优动态治疗方案（DTRs），采用两阶段方法：首先通过监督深度学习预测专家行为，其次通过DRL估计长期价值函数。在移植物抗宿主病（GVHD）管理的CIBMTR数据上进行评估，该方法在预测专家决策方面表现出高准确性，并识别出具有更高期望奖励的个性化治疗策略。

ABSTRACT

This paper presents the first deep reinforcement learning (DRL) framework to estimate the optimal Dynamic Treatment Regimes from observational medical data. This framework is more flexible and adaptive for high dimensional action and state spaces than existing reinforcement learning methods to model real-life complexity in heterogeneous disease progression and treatment choices, with the goal of providing doctor and patients the data-driven personalized decision recommendations. The proposed DRL framework comprises (i) a supervised learning step to predict the most possible expert actions, and (ii) a deep reinforcement learning step to estimate the long-term value function of Dynamic Treatment Regimes. Both steps depend on deep neural networks. As a key motivational example, we have implemented the proposed framework on a data set from the Center for International Bone Marrow Transplant Research (CIBMTR) registry database, focusing on the sequence of prevention and treatments for acute and chronic graft versus host disease after transplantation. In the experimental results, we have demonstrated promising accuracy in predicting human experts' decisions, as well as the high expected reward function in the DRL-based dynamic treatment regimes.

研究动机与目标

• 开发一种可扩展、数据驱动的框架，用于优化复杂、高维临床决策场景中的动态治疗方案（DTRs）。
• 解决现有DTR方法的局限性，这些方法依赖于随机对照试验（SMARTs）中简化的、低维的动作和状态空间，难以推广到现实世界的观察性数据。
• 利用深度神经网络实现自动表示学习，减少对人工特征工程和特定领域简化的依赖。
• 利用真实世界的医疗注册数据（如CIBMTR）实现对异质患者人群的个性化、长期结果优化。
• 证明DRL在复杂移植后并发症（如移植物抗宿主病，GVHD）临床决策支持中的可行性和有效性。

提出的方法

• 该框架采用两阶段流程：首先，使用监督深度神经网络基于患者状态特征预测最可能的专家行为。
• 其次，训练一个深度Q网络（DQN）以估计DTR的长期价值函数，利用经验回放缓冲区稳定训练过程，并采用目标网络提升收敛性。
• 通过有效的输入编码方案对状态表示进行编码，以降低维度，同时保留临床判别能力。
• DRL组件采用包含8个输入神经元、两层隐藏层（分别含32个和64个神经元）的多层全连接神经网络，急性GVHD和慢性GVHD治疗的输出层分别包含283个和271个神经元。
• 定义了一个延迟的、离散化的奖励函数，包含五个结果类别：无复发生存（奖励1.0）、伴有GVHD的生存（0.8）、复发（0.2）、死亡（0.0），以及数据丢失（通过未来值估计进行填补）。
• 算法采用经验回放和目标网络更新，使用慢跟踪参数（τ = 0.01），以稳定训练并减少策略发散。

实验结果

研究问题

• RQ1 深度强化学习能否有效从高维、现实世界观察性医疗数据（如注册数据库）中学习最优动态治疗方案？
• RQ2 深度神经网络在复杂、随时间变化的治疗序列中，预测专家临床决策的能力如何？
• RQ3 DRL框架能否识别出最大化长期临床结局（如4年无复发生存且GVHD最小化）的个性化治疗策略？
• RQ4 所提出的框架在处理异质性决策阶段和高维治疗选项方面，相较于传统DTR方法的性能优势有多大？
• RQ5 DRL框架在纵向医疗记录中面对删失和缺失随访数据时，其鲁棒性如何？

主要发现

• 监督深度学习模型在预测人类专家治疗决策方面表现出高准确性，证明了模型从现实世界数据中捕捉临床决策模式的能力。
• DRL框架成功学习到具有显著更高期望长期奖励的最优治疗策略，表明其在临床结局预测方面的改进。
• 采用整合了生存、GVHD状态、复发和死亡结果的离散化奖励函数，有效建模了复杂、多维度的临床结局。
• 经验回放与目标网络的整合稳定了训练过程并提升了收敛性，使高维状态与动作空间中的可靠学习成为可能。
• 该框架在复杂真实世界临床数据（如CIBMTR注册库）中表现出可扩展性和适应性，该数据包含异质性患者轨迹和治疗序列。
• 通过使用未来值估计进行填补，该方法有效处理了删失和缺失数据，在不丢弃不完整记录的情况下维持了性能。