[论文解读] A Conservative Q-Learning approach for handling distribution shift in sepsis treatment strategies

Pramod Kaushik, Sneha Kummetha+2 more|arXiv (Cornell University)|Mar 25, 2022

Sepsis Diagnosis and Treatment被引用 5

一句话总结

本文提出了一种保守Q学习（Conservative Q-Learning, CQL）方法，以缓解在脓毒症治疗的离线强化学习中因分布偏移带来的问题，提升策略与医生临床实践的一致性。通过正则化Q函数，避免对分布外动作的过高估计，CQL模型学习到了更符合临床实际的血管活性药物与静脉输液剂量策略，尤其在SOFA评分较高（危重）患者中表现更优，其在模仿医生行为方面优于标准DQN模型。

ABSTRACT

Sepsis is a leading cause of mortality and its treatment is very expensive. Sepsis treatment is also very challenging because there is no consensus on what interventions work best and different patients respond very differently to the same treatment. Deep Reinforcement Learning methods can be used to come up with optimal policies for treatment strategies mirroring physician actions. In the healthcare scenario, the available data is mostly collected offline with no interaction with the environment, which necessitates the use of offline RL techniques. The Offline RL paradigm suffers from action distribution shifts which in turn negatively affects learning an optimal policy for the treatment. In this work, a Conservative-Q Learning (CQL) algorithm is used to mitigate this shift and its corresponding policy reaches closer to the physicians policy than conventional deep Q Learning. The policy learned could help clinicians in Intensive Care Units to make better decisions while treating septic patients and improve survival rate.

研究动机与目标

• 解决脓毒症治疗中离线强化学习的分布偏移问题，尤其在SOFA评分高（数据稀疏、泛化能力差）的患者中。
• 提升所学治疗策略与实际医生决策的一致性，特别是在高SOFA评分（危重）患者状态下的表现。
• 缓解深度Q网络在预测罕见或分布外状态（如高剂量血管活性药物使用）时的过高估计偏差。
• 开发一种更保守、更可靠的强化学习策略，用于ICU决策支持，通过与临床实践对齐来降低死亡率风险。

提出的方法

• 基于MIMIC-III v1.4数据集，将双值双DQN架构改进用于脓毒症治疗，状态特征每4小时聚合一次。
• 在Q函数损失中引入保守惩罚项，对分布外动作的过高估计进行正则化，采用对数和指数（log-sum-exp）公式。
• 将CQL损失形式化为：$ L(\theta) = \alpha \mathbb{E}_{s_t \sim D} \left[ \log \sum_a \exp Q_\theta(s_t, a) - \mathbb{E}_{a \sim D} Q_\theta(s_t, a) \right] + L_{\text{DoubleDQN}}(\theta) $，以促进保守的价值估计。
• 采用离散动作空间表示血管活性药物与静脉输液剂量，各自划分为四分位数（0–4），0表示未给药。
• 在静态数据集上进行训练，不依赖环境交互，完全基于历史ICU数据学习最优治疗策略。
• 通过SOFA严重程度分组的二维动作分布直方图评估策略行为，并与医生策略及基线DQN策略进行比较。

实验结果

研究问题

• RQ1 保守Q学习能否在脓毒症治疗的离线深度强化学习中减少过高估计偏差，特别是在低数据、高SOFA评分的情境下？
• RQ2 CQL策略在不同患者严重程度水平下，与实际医生治疗模式的一致性如何？
• RQ3 通过保守正则化减少分布偏移，是否能导致模拟治疗结果中死亡率降低？
• RQ4 CQL模型能否在标准DQN因数据稀疏而失效的危重患者（高SOFA）中实现泛化？

主要发现

• CQL模型学习到的策略与医生行为高度一致，尤其体现在仅在高SOFA患者中使用高剂量血管活性药物，而标准DQN模型则不然。
• 在高SOFA情境下，CQL模型的血管活性药物剂量高于标准DQN，与临床实践一致，提升了策略的真实性。
• 当CQL模型的给药剂量与医生剂量差异最小时，其死亡率更低，尤其在中等和高SOFA组中表现更优。
• 通过实施保守价值正则化，CQL模型显著减少了对分布外动作的Q值过高估计，尤其在罕见或危重患者状态中。
• CQL策略在二维动作分布直方图中表现更优，其动作分布与医生策略在所有SOFA严重程度等级下均高度匹配。
• 本研究指出，未来需开展定量的离策略评估以验证模型在临床部署前的鲁棒性。