[论文解读] Model-Based Reinforcement Learning for Sepsis Treatment

Aniruddh Raghu, Matthieu Komorowski+1 more|arXiv (Cornell University)|Nov 23, 2018

Sepsis Diagnosis and Treatment参考文献 15被引用 29

一句话总结

本文提出了一种基于连续状态空间模型的强化学习方法，利用MIMIC-III数据库中的ICU数据，发现改进的脓毒症治疗策略。通过结合临床医生制定的策略与强化学习学习到的策略——尤其在中等严重程度SOFA评分范围内——其估计的治疗价值高于当前临床实践，展示了更安全、数据驱动的脓毒症管理潜力。

ABSTRACT

Sepsis is a dangerous condition that is a leading cause of patient mortality. Treating sepsis is highly challenging, because individual patients respond very differently to medical interventions and there is no universally agreed-upon treatment for sepsis. In this work, we explore the use of continuous state-space model-based reinforcement learning (RL) to discover high-quality treatment policies for sepsis patients. Our quantitative evaluation reveals that by blending the treatment strategy discovered with RL with what clinicians follow, we can obtain improved policies, potentially allowing for better medical treatment for sepsis.

研究动机与目标

• 开发一种基于模型的强化学习框架，用于脓毒症治疗，利用连续生理状态动态。
• 通过从观察性ICU数据中学习高质量治疗策略，改进脓毒症的临床决策支持。
• 评估将强化学习学习到的策略与临床医生行为相结合，是否能获得优于仅遵循临床医生策略的治疗结果。
• 使用离策略评估方法量化策略性能，同时考虑分布偏移和模型不确定性。
• 基于模型可靠性，识别特定状态区域的策略融合策略——尤其在高/低严重程度情况下优先采用临床医生策略。

提出的方法

• 使用神经网络建模患者状态转移动态，以预测状态变化 Δt = st+1 − st，条件为当前及过去三个时间步的状态-动作对。
• 使用贝叶斯神经网络（BNN）估计状态转移的完整预测分布，实现不确定性量化。
• 使用Adam优化在198维状态向量上训练环境模型，该向量将过去三个时间步的生理数据拼接而成。
• 通过近端策略优化（PPO）学习治疗策略，并使用行为克隆从临床医生动作初始化。
• 使用PHWIS、PHWDR和AM估计器进行离策略评估，采用k-最近邻（k=250）模型近似临床医生的行为策略。
• 通过在低和高SOFA严重程度区域选择临床医生策略（此时模型不确定性较高），在中等严重程度区域选择强化学习策略，实现策略融合。

实验结果

研究问题

• RQ1 基于连续状态空间模型的强化学习能否从观察性ICU数据中发现改进的脓毒症治疗策略？
• RQ2 使用离策略估计器评估时，强化学习学习到的策略与当前临床实践相比表现如何？
• RQ3 在基于SOFA评分的哪些严重程度区域（如低、中、高）中，结合临床医生与强化学习策略能获得最高的期望结果？
• RQ4 在高和低严重程度区域中，模型不确定性是否足以证明应优先采用临床医生协议而非依赖强化学习策略？
• RQ5 不同离策略评估估计器（PHWIS、PHWDR、AM）在策略价值排序上的一致性如何？

主要发现

• 通过在低和高SOFA区域使用临床医生策略、在中等SOFA区域使用PPO学习策略，所获得的最佳策略在PHWDR估计器下实现了12.8的估计值。
• PHWIS和PHWDR估计器均表明，策略融合带来的期望回报高于仅遵循临床医生策略（基线值：9.90）。
• AM估计器对策略的区分度极低，表明其在此设置下可能对策略差异不敏感。
• 在中等SOFA区域，强化学习学习到的策略优于临床医生策略，表明基于模型的强化学习可在临床行为更具变异性时识别出更优策略。
• 在高和低SOFA区域，由于环境模型预测准确性较低（因高随机性和低信号），依赖临床医生策略带来了更优的性能估计。
• 结果表明，基于模型的强化学习可通过识别中等严重程度病例中的最优行动，补充临床专业知识，而这些病例的治疗决策最为模糊。