[论文解读] Medical Dead-ends and Learning to Identify High-risk States and Treatments

Mehdi Fatemi, Taylor W. Killian+2 more|arXiv (Cornell University)|Oct 8, 2021

Machine Learning in Healthcare参考文献 59被引用 8

一句话总结

该论文提出了一种名为死胡同发现（DeD）的新型强化学习框架，可在数据有限且探索不道德的重症监护病房（ICU）脓毒症病例中，识别出极可能导致患者死亡的高风险临床状态和治疗方案。通过训练深度Q网络以估计‘死胡同’可能性和治疗可达性，DeD发现，在临终患者中，12%的治疗措施会降低其生存几率，且病情恶化可在临床干预前4至8小时被检测到。

ABSTRACT

Machine learning has successfully framed many sequential decision making problems as either supervised prediction, or optimal decision-making policy identification via reinforcement learning. In data-constrained offline settings, both approaches may fail as they assume fully optimal behavior or rely on exploring alternatives that may not exist. We introduce an inherently different approach that identifies possible "dead-ends" of a state space. We focus on the condition of patients in the intensive care unit, where a "medical dead-end" indicates that a patient will expire, regardless of all potential future treatment sequences. We postulate "treatment security" as avoiding treatments with probability proportional to their chance of leading to dead-ends, present a formal proof, and frame discovery as an RL problem. We then train three independent deep neural models for automated state construction, dead-end discovery and confirmation. Our empirical results discover that dead-ends exist in real clinical data among septic patients, and further reveal gaps between secure treatments and those that were administered.

研究动机与目标

• 解决离线强化学习在医疗领域中的局限性，其中数据稀缺和伦理限制导致无法进行探索。
• 在不依赖数据中最优行为的前提下，识别出‘死胡同’——即无论未来采取何种治疗，患者死亡都不可避免的状态。
• 开发一种避免有害治疗而非优化恢复的治疗方法，从而在数据受限的环境中提升安全性。
• 在真实脓毒症ICU数据上验证该方法，证明可早期检测出病情恶化轨迹。

提出的方法

• 将‘医疗死胡同’形式化为无论未来采取何种行动，死亡都不可避免的状态，采用双马尔可夫决策过程（two-MDP）框架并设计特定奖励函数。
• 训练两个独立的深度Q网络：D-网络用于估计进入死胡同的概率（价值函数V_D），R-网络用于估计获得积极结果的可达性（价值函数V_R）。
• 将‘治疗安全性’定义为避免具有高概率导致死胡同的治疗，该定义通过价值函数的性质得到形式化证明。
• 采用基于阈值的标记机制：当V_D低于δ_D且V_R超过δ_R时，触发红色警报，表示高风险。
• 使用t-SNE可视化和病程记录分析，解释模型输出并验证其临床相关性。
• 在回顾性ICU数据上训练模型，仅使用观察到的结果推断风险，无需进行探索。

实验结果

研究问题

• RQ1 能否仅使用离线数据，在ICU患者轨迹中检测出无论未来采取何种治疗，死亡都不可避免的状态？
• RQ2 在终末期脓毒症患者中，当前所实施的治疗在多大程度上增加了死亡风险，以死胡同可能性为衡量标准？
• RQ3 模型能否通过识别死胡同概率上升，提前检测出临床恶化的早期迹象（在干预前）？
• RQ4 D-网络和R-网络的价值函数在幸存者与非幸存者之间有何差异？这揭示了治疗风险的哪些信息？
• RQ5 该框架能否推广至其他数据有限且无法进行探索的安全关键领域？

主要发现

• DeD成功在真实脓毒症ICU数据中识别出死胡同，证实某些患者状态即使接受治疗也注定致命。
• 对临终患者实施的12%的治疗显著降低了其生存几率，部分治疗甚至在死亡前24小时即已发生。
• D-网络价值函数可在临床干预前4至8小时检测到患者病情显著恶化，显示出早期预警潜力。
• 非幸存者保持红色警报状态（高死胡同概率）的时间显著长于幸存者，其分布呈长尾特征，表明风险持续存在。
• 幸存者通常在进入ICU时无任何警报，表明不可逆恶化并非在入院时即存在，而是在治疗过程中逐渐发展。
• 模型的价值函数显示出明显趋势：幸存者轨迹的价值保持稳定，而非幸存者轨迹的V_D急剧下降，V_R则上升，与理论预期一致。