[论文解读] Continuous State-Space Models for Optimal Sepsis Treatment - a Deep Reinforcement Learning Approach

Aniruddh Raghu, Matthieu Komorowski+3 more|arXiv (Cornell University)|May 23, 2017

Sepsis Diagnosis and Treatment参考文献 20被引用 102

一句话总结

论文开发了连续状态深度强化学习模型（DDQN 具对偶和自编码潜在状态）从 ICU 数据学习最优败血症治疗策略，可能降低死亡率。

ABSTRACT

Sepsis is a leading cause of mortality in intensive care units (ICUs) and costs hospitals billions annually. Treating a septic patient is highly challenging, because individual patients respond very differently to medical interventions and there is no universally agreed-upon treatment for sepsis. Understanding more about a patient's physiological state at a given time could hold the key to effective treatment policies. In this work, we propose a new approach to deduce optimal treatment policies for septic patients by using continuous state-space models and deep reinforcement learning. Learning treatment policies over continuous spaces is important, because we retain more of the patient's physiological information. Our model is able to learn clinically interpretable treatment policies, similar in important aspects to the treatment policies of physicians. Evaluating our algorithm on past ICU patient data, we find that our model could reduce patient mortality in the hospital by up to 3.6% over observed clinical policies, from a baseline mortality of 13.7%. The learned treatment policies could be used to aid intensive care clinicians in medical decision making and improve the likelihood of patient survival.

研究动机与目标

• 说明为何败血症治疗具有挑战性以及需要个体化策略。
• 提出连续状态深度强化学习以保留丰富的患者状态信息。
• 开发并比较基于连续状态的 DDQN 政策及潜在表示。
• 证明在将学习到的策略应用于 ICU 数据时潜在的死亡率降低。
• 评估学习到的策略的可解释性和临床相关性。

提出的方法

• 将败血症治疗建模为带有连续状态和离散化动作的离策略 RL 问题。
• 使用带目标网络和优先经验回放的 Duelling Double Deep Q-Network（Dueling DDQN）。
• 通过稀疏自编码器将辅助潜在状态表示作为 Q 网络的输入。
• 将药物滴注和升压药剂量的动作离散化为一个 5x5 的空间并学习 Q*(s,a)。
• 使用 Doubly Robust Off-policy Value Evaluation 进行离策略评估以估计策略价值。
• 比较基线离散化模型、普通 Q-N 以及自编码器 Q-N 策略。

实验结果

研究问题

• RQ1 连续状态 RL 能否从 ICU 数据中学习具有临床可解释性的败血症治疗策略？
• RQ2 与医生策略相比，连续状态策略是否能降低住院死亡率？
• RQ3 潜在状态表示对策略质量和临床可解释性的影响如何？
• RQ4 学习到的策略在使用升压药和静脉输注液方面与医生方法有何不同？

主要发现

策略	期望回报	估计死亡率
医生	9.87	13.9±0.5%
普通 Q-N	10.16	12.8±0.5%
自编码 Q-N	10.73	11.2±0.4%

• 基于自编码的策略给出最低的估计死亡率，死亡率可能降低至多4%。
• 测试集上的医生策略死亡率与校准匹配，观察到的死亡率为13.7%。
• 普通 Q-N 策略在期望回报和死亡率方面相较医生策略有中等改善。
• 自编码 Q-N 的期望回报更高（10.73）> 医生（9.87）和普通 Q-N（10.16）。
• 发现的策略倾向于节省升压药并维持中等体液用量，与临床谨慎一致。
• 离策略评估使用 Doubly Robust 方法为学习到的策略提供无偏的死亡率估计。