[论文解读] An Optimal Policy for Patient Laboratory Tests in Intensive Care Units

Lifang Cheng, Niranjani Prasad+1 more|arXiv (Cornell University)|Aug 14, 2018

Hemodynamic Monitoring and Therapy参考文献 7被引用 4

一句话总结

本文提出了一种批量离策略强化学习框架，通过平衡临床效用、成本和风险，为ICU患者学习最优的实验室检查排序策略。采用复合奖励函数的多目标Q-迭代方法，将检查频率降低了44%（例如WBC），并将检查时间平均提前超过4小时，从而提升信息获取效率并实现更早的治疗启动。

ABSTRACT

Laboratory testing is an integral tool in the management of patient care in hospitals, particularly in intensive care units (ICUs). There exists an inherent trade-off in the selection and timing of lab tests between considerations of the expected utility in clinical decision-making of a given test at a specific time, and the associated cost or risk it poses to the patient. In this work, we introduce a framework that learns policies for ordering lab tests which optimizes for this trade-off. Our approach uses batch off-policy reinforcement learning with a composite reward function based on clinical imperatives, applied to data that include examples of clinicians ordering labs for patients. To this end, we develop and extend principles of Pareto optimality to improve the selection of actions based on multiple reward function components while respecting typical procedural considerations and prioritization of clinical goals in the ICU. Our experiments show that we can estimate a policy that reduces the frequency of lab tests and optimizes timing to minimize information redundancy. We also find that the estimated policies typically suggest ordering lab tests well ahead of critical onsets--such as mechanical ventilation or dialysis--that depend on the lab results. We evaluate our approach by quantifying how these policies may initiate earlier onset of treatment.

研究动机与目标

• 为解决ICU中重复且昂贵的实验室检查排序问题，该问题导致患者伤害并增加医疗成本。
• 开发一种数据驱动、可解释的策略，通过平衡信息获取、成本和临床风险，优化实验室检查的时间和选择。
• 通过从真实临床医生的检查模式中学习，同时最小化信息冗余，改善临床决策。
• 评估所学习的策略是否能比临床医生更早推荐检查，从而实现更早的治疗启动。
• 提供一种可部署、低风险的临床医生在回路ICU护理决策支持系统，采用离策略强化学习。

提出的方法

• 该框架将患者轨迹建模为马尔可夫决策过程（MDP），利用多输出高斯过程（MOGPs）从稀疏、非规则采样的时间序列中提取状态表示。
• 复合奖励函数整合了多个临床目标：预期信息增益、检测成本以及对下游治疗时间的影响。
• 该方法通过多目标拟合Q-迭代（MO-FQI）实现批量离策略强化学习，从历史临床医生检查数据中学习策略。
• 将Pareto最优性原则扩展至选择在多个奖励分量之间平衡竞争目标的动作，无需进行标量化解析。
• 离策略评估采用加权重要性采样（WIS）估计器，在不实际部署的情况下评估策略在测试数据上的性能。
• 该模型可估计未来患者状态并预测实验室值，同时提供不确定性量化，从而实现主动的检查推荐。

实验结果

研究问题

• RQ1 强化学习框架能否学习到一种实验室检查排序策略，以减少冗余检查，同时保持或提升临床效用？
• RQ2 所学习的策略在多大程度上能比临床医生更早推荐实验室检查，从而实现更早的治疗启动？
• RQ3 该策略推荐的实验室检查的信息增益与临床医生所订购的检查相比如何？
• RQ4 该框架能否通过复合奖励函数平衡竞争性临床目标，如成本、风险和诊断效用？
• RQ5 与当前临床实践相比，该策略是否减少了实验室检查的总数量，特别是对于WBC和乳酸等高频检查？

主要发现

• MO-FQI策略相比临床医生的检查实践，将实验室检查推荐总数减少了44%，其中WBC的推荐数为12,358次，而实际订单为22,172次。
• 对于检查频率较低的乳酸，该策略仍实现了27%的检查频率降低。
• WBC的检查推荐与关键治疗启动之间的时间间隔，从平均9.1小时延长至13.2小时，表明具有更早检测和干预的潜力。
• 该策略推荐的检查平均信息增益显著高于临床医生所订购的检查：WBC为1.53 vs. 0.69，BUN为3.39 vs. 1.63。
• 在所有四个测试的实验室检查中，该策略在三项评估指标——减少订单数、提高信息增益、更早治疗时间——上均持续优于临床医生。
• 该策略平均比临床医生提前4.5小时推荐实验室检查，尤其在WBC、肌酐和BUN方面表现突出，表明其对临床恶化更早的预判能力。