[论文解读] A Reinforcement Learning Approach to Weaning of Mechanical Ventilation in Intensive Care Units

Niranjani Prasad, Li Cheng+3 more|arXiv (Cornell University)|Apr 20, 2017

Intensive Care Unit Cognitive Disorders参考文献 14被引用 111

一句话总结

本文提出一个数据驱动、off-policy 强化学习框架，用于在ICU引导减少机械通气和镇静的撤离过程，使用历史的 MIMIC-III 数据学习个体化政策，目标是最小化再次插管并稳定生命体征。

ABSTRACT

The management of invasive mechanical ventilation, and the regulation of sedation and analgesia during ventilation, constitutes a major part of the care of patients admitted to intensive care units. Both prolonged dependence on mechanical ventilation and premature extubation are associated with increased risk of complications and higher hospital costs, but clinical opinion on the best protocol for weaning patients off of a ventilator varies. This work aims to develop a decision support tool that uses available patient information to predict time-to-extubation readiness and to recommend a personalized regime of sedation dosage and ventilator support. To this end, we use off-policy reinforcement learning algorithms to determine the best action at a given patient state from sub-optimal historical ICU data. We compare treatment policies from fitted Q-iteration with extremely randomized trees and with feedforward neural networks, and demonstrate that the policies learnt show promise in recommending weaning protocols with improved outcomes, in terms of minimizing rates of reintubation and regulating physiological stability.

研究动机与目标

• 开发一个决策支持工具，预测拔管就绪时间并个性化镇静/通气方案。
• 应用 off-policy 强化学习从历史 ICU 数据中学习最优撤机行动。
• 将 fitted Q-iteration 与 Extra-Trees 及神经网络作为策略评估者进行比较。
• 评估所学策略是否与临床实践一致并改善患者结果。
• 确定驱动所学撤机决策的关键生理特征。

提出的方法

• 将ICU撤机建模为一个马尔可夫决策过程，具有32维状态表示。
• 定义一个包含8个动作的空间，将通气开/关与4个镇静水平结合在10分钟间隔内。
• 构建一个奖励函数，激励维持稳定的生命体征和成功拔管，同时惩罚长期通气和不良事件。
• 使用多输出高斯过程填补不规则稀疏的生命体征，以获得10分钟间隔的状态。
• 使用off-policy fitted Q-iteration (FQI)训练策略，采用Extra-Trees和神经网络（NFQ）。
• 在来自 MIMIC-III 的1,800个训练及664个测试入院病例上评估策略，总转移次数达数百万。

实验结果

研究问题

• RQ1 off-policy 强化学习是否能够从历史 ICU 数据中学习到有效的撤机与镇静策略？
• RQ2 FQI with Extra-Trees 在学习通气与镇静策略方面的表现如何，与 NFQ 相比？
• RQ3 32维状态中的哪些特征最影响所学策略的决策？
• RQ4 与医院实践相比，RL派生的建议是否减少再插管并提高累计奖励？

主要发现

• 通过 FQIT 和 NFQ 学得的策略在通气策略的准确性方面相近（约85%与医院政策一致）。
• NFQ 在镇静策略的准确性上较低（58%），低于 FQIT（未指明的更高）；使用 NFQ 的镇静策略鲁棒性较差。
• 与医院政策更吻合的策略往往有更少的再插管和更高的累计奖励。
• 策略的主要预测特征包括动脉氧分压、动脉pH、 FiO2、氧气流量和 PEEP，与拔管标准一致。
• 体重和年龄（人口统计学特征）显著影响所学撤机策略，反映了基于体重的剂量和恢复速度。
• 两个回归器的Q函数估计在大约60次迭代后收敛，NFQ 的运行时间比 Extra-Trees 更快。