[论文解读] Is Deep Reinforcement Learning Ready for Practical Applications in Healthcare? A Sensitivity Analysis of Duel-DDQN for Sepsis Treatment

Mingyu Lu, Zachary Shahn+3 more|arXiv (Cornell University)|May 8, 2020

Machine Learning in Healthcare参考文献 13被引用 2

一句话总结

本研究评估了双Dueling Double Deep Q-Network（Dueling-DDQN）智能体在学习重症监护病房（ICU）患者脓毒症治疗策略时的敏感性。研究发现，输入特征、时间离散化、奖励函数和随机种子的变化会显著改变所学策略，强调了在临床部署前必须进行严格的敏感性分析，以避免对强化学习输出的误读。

ABSTRACT

The potential of Reinforcement Learning (RL) has been demonstrated through successful applications to games such as Go and Atari. However, while it is straightforward to evaluate the performance of an RL algorithm in a game setting by simply using it to play the game, evaluation is a major challenge in clinical settings where it could be unsafe to follow RL policies in practice. Thus, understanding sensitivity of RL policies to the host of decisions made during implementation is an important step toward building the type of trust in RL required for eventual clinical uptake. In this work, we perform a sensitivity analysis on a state-of-the-art RL algorithm (Dueling Double Deep Q-Networks)applied to hemodynamic stabilization treatment strategies for septic patients in the ICU. We consider sensitivity of learned policies to input features, time discretization, reward function, and random seeds. We find that varying these settings can significantly impact learned policies, which suggests a need for caution when interpreting RL agent output.

研究动机与目标

• 评估深度强化学习智能体在学习脓毒性ICU患者血流动力学稳定化策略方面的鲁棒性。
• 研究实现选择如何影响临床环境中所学的强化学习策略。
• 识别可能损害临床部署可信度的强化学习策略性能中的关键变异来源。
• 为Dueling-DDQN在真实医疗环境中的超参数和设计决策敏感性提供实证证据。

提出的方法

• 本研究应用双Dueling Double Deep Q-Network（Dueling-DDQN）模型，利用ICU数据学习脓毒症患者的最优治疗策略。
• 该算法基于时间序列生理数据进行训练，以实现对血流动力学稳定化的序列治疗决策。
• 通过系统性地改变输入特征、时间离散化间隔、奖励函数设计和随机种子，开展敏感性分析。
• 在不同配置下评估策略性能，以衡量治疗策略和结局预测的变化。
• 量化不同设置下策略的差异，以评估所学智能体的稳定性和可靠性。

实验结果

研究问题

• RQ1 输入特征的选择在多大程度上影响Dueling-DDQN智能体在脓毒症管理中所学的策略？
• RQ2 时间离散化在多大程度上影响强化学习策略的稳定性和性能？
• RQ3 所学策略对奖励函数设计的改变有多敏感？
• RQ4 在不同随机种子下训练时，策略行为的差异有多大？

主要发现

• 输入特征的变化导致强化学习智能体所学治疗策略出现显著差异，表明其对特征选择高度敏感。
• 不同的时间离散化间隔显著改变了智能体的策略结构和决策模式。
• 奖励函数的设计对策略行为有强烈影响，其变化导致治疗策略出现明显分化。
• 随机种子引入了显著的策略结果变异性，表明策略收敛性在不同训练运行中存在不稳定性。