[论文解读] Is Deep Reinforcement Learning Ready for Practical Applications in Healthcare? A Sensitivity Analysis of Duel-DDQN for Hemodynamic Management in Sepsis Patients

Mingyu Lu, Zachary Shahn+3 more|PubMed|May 8, 2020

Sepsis Diagnosis and Treatment参考文献 25被引用 10

一句话总结

本研究评估了Dueling Double Deep Q-Network（Duel-DDQN）在脓毒症患者血流动力学管理中的敏感性，涵盖关键实现选择。研究发现，输入特征、奖励设计、时间离散化和随机种子的微小变化会导致显著不同的、有时具有临床危害的策略，凸显了在医疗领域实际部署深度强化学习时存在的重大稳健性问题。

ABSTRACT

The potential of Reinforcement Learning (RL) has been demonstrated through successful applications to games such as Go and Atari. However, while it is straightforward to evaluate the performance of an RL algorithm in a game setting by simply using it to play the game, evaluation is a major challenge in clinical settings where it could be unsafe to follow RL policies in practice. Thus, understanding sensitivity of RL policies to the host of decisions made during implementation is an important step toward building the type of trust in RL required for eventual clinical uptake. In this work, we perform a sensitivity analysis on a state-of-the-art RL algorithm (Dueling Double Deep Q-Networks) applied to hemodynamic stabilization treatment strategies for septic patients in the ICU. We consider sensitivity of learned policies to input features, embedding model architecture, time discretization, reward function, and random seeds. We find that varying these settings can significantly impact learned policies, which suggests a need for caution when interpreting RL agent output.

研究动机与目标

• 评估Duel-DDQN智能体在学习脓毒症ICU患者血流动力学管理策略方面的稳健性。
• 探究实现决策（如状态表示、时间离散化和奖励函数）如何影响所学策略。
• 评估看似微小的算法选择是否会导致治疗建议的临床显著差异。
• 识别对策略可靠性至关重要的设计选择，并指出引入过度敏感性的选项。
• 通过揭示实现差异导致的策略不稳定性风险，为未来深度强化学习在医疗领域的应用提供指导。

提出的方法

• 基于回顾性ICU数据，开发了用于脓毒症中顺序治疗决策的基线Duel-DDQN模型。
• 在五个轴向上执行系统性敏感性分析：治疗史是否包含在内、时间分箱持续时间、奖励函数、嵌入架构和随机种子初始化。
• 采用马尔可夫决策过程（MDP）框架，通过状态、动作、转移和奖励组件对患者轨迹进行建模。
• 应用Q-learning结合双重DQN与对偶网络架构，以改善价值函数估计和策略稳定性。
• 在相同数据但不同配置设置下，训练并评估多个策略变体，以比较所学行为。
• 通过估计回报和临床合理性（包括按SOFA评分分组的亚组分析）评估策略质量。

实验结果

研究问题

• RQ1 Duel-DDQN策略对状态表示中是否包含治疗史有多敏感？
• RQ2 不同的时间离散化间隔如何影响所学治疗策略？
• RQ3 奖励函数的变化如何影响最终策略及其临床合理性？
• RQ4 用于状态嵌入的神经网络架构选择如何影响策略性能与稳定性？
• RQ5 随机种子的变化在多大程度上导致策略发散且临床表现欠佳？

主要发现

• 从状态中排除治疗史导致策略在每个时间步均推荐使用血管活性药物或液体治疗——这是一种明显有害的策略，与临床指南严重不符。
• 不同随机种子产生的策略具有相似的估计回报，但动作分布在定性上截然不同，表明策略学习存在不稳定性。
• 奖励函数设计显著影响策略行为，某些公式导致反直觉的建议，例如对高风险患者延迟或避免高剂量治疗。
• 时间离散化选择改变了策略行为，较短的分箱有时导致过度治疗，而较长的分箱则导致干预延迟。
• 使用循环神经网络进行状态表示并未一致提升策略稳健性，有时反而导致行为异常。
• 按SOFA评分进行的亚组分析显示，DQN智能体在高风险患者中推荐了有害行为（如未给予高剂量治疗），尽管这些行为在训练数据中极为罕见，表明存在潜在的外推问题。