[论文解读] Improving Sepsis Treatment Strategies by Combining Deep and Kernel-Based Reinforcement Learning

Xuefeng Peng, Yi Ding+7 more|arXiv (Cornell University)|Jan 15, 2019

Sepsis Diagnosis and Treatment参考文献 20被引用 45

一句话总结

本文提出一种专家混合框架，结合基于核的方法和深度强化学习，通过循环历史表示和离线评估来个性化脓毒症治疗（IV fluids 和 vasopressors），在大规模回顾队列中优于临床医生、核方法独立和 DRL 独立策略。

ABSTRACT

Sepsis is the leading cause of mortality in the ICU. It is challenging to manage because individual patients respond differently to treatment. Thus, tailoring treatment to the individual patient is essential for the best outcomes. In this paper, we take steps toward this goal by applying a mixture-of-experts framework to personalize sepsis treatment. The mixture model selectively alternates between neighbor-based (kernel) and deep reinforcement learning (DRL) experts depending on patient's current history. On a large retrospective cohort, this mixture-based approach outperforms physician, kernel only, and DRL-only experts.

研究动机与目标

• 由于患者反应异质性，推动个性化脓毒症管理。
• 开发一个将两种强化学习范式结合起来的框架，以发挥它们的优势。
• 使用循环自编码器对患者完整历史进行编码，以指导决策。
• 纳入保障机制，使提出的行动在临床上可行。
• 用离线评估方法评估策略，并与临床医生和单一专家策略进行比较。

提出的方法

• 使用LSTM自编码器将患者的整个历史编码为128维状态。
• 定义基于预测死亡风险对数 odds 变化的每步奖励，以引导强化学习训练。
• 应用带权重双稳健(Weighted Doubly Robust, WDR)估计器的离线评估，从回顾数据评估策略。
• 推导两个专家策略：对存活患者的基于核的最近邻策略；以及具有对偶结构的双DQN（DRL）策略。
• 将DRL限定为在相似邻居中临床医生至少1%的时间采取的行动，以提高安全性。
• 使用线性门控函数和概率的sigmoid，将基于情境选择核策略与DRL策略的专家混合（MoE）门控函数进行组合。

实验结果

研究问题

• RQ1 能否通过核基与深度RL策略的混合，在脓毒症治疗决策上超越临床医生或单一专家策略？
• RQ2 通过循环编码纳入完整的患者历史，是否能提升策略性能？
• RQ3 MoE门控策略如何影响策略选择及在不同患者状态的结果？
• RQ4 离线评估(WDR)在将这些策略用于回顾数据比较时是否可靠？

主要发现

• MoE 策略在测试集上基于 WDR 目标函数优于医生、核仅策略和 DRL 仅策略。
• 对患者历史的循环编码提升了所有RL策略相对于非循环编码的性能。
• 核策略趋于保守，而DRL（DQN）倾向于使用更多的液体和升压药；MoE 在两者之间取得平衡。
• 在非循环编码下，MoE 在基础线下的 physician 变量为 4.31，医生为 3.76；在循环编码下，MoE 达到 5.72，超越所有其他策略。
• 离线评估显示 MoE 的重要性权重中有 90% 非零，表明数据利用广泛，尽管如所述，在医疗保健场景中 IS 基估计方差可能很高。
• 训练与评估时间显示 MoE 能在测试时大约 0.16 秒内为每条患者轨迹计算推荐。