[论文解读] Deep Reinforcement Learning for Clinical Decision Support: A Brief Survey

Siqi Liu, Kee Yuan Ngiam+1 more|arXiv (Cornell University)|Jul 22, 2019

Advanced Bandit Algorithms Research参考文献 52被引用 11

一句话总结

本综述介绍了深度强化学习（DRL）在临床决策支持中的应用，总结了DRL算法、其在医疗保健中的应用，以及选择合适模型的指导原则。该综述强调了DRL利用电子健康记录（EHR）优化个性化治疗决策的潜力，通过脓毒症、撤机和药物剂量等案例研究展示了其应用，同时探讨了奖励设计和数据稀缺等挑战。

ABSTRACT

Owe to the recent advancements in Artificial Intelligence especially deep learning, many data-driven decision support systems have been implemented to facilitate medical doctors in delivering personalized care. We focus on the deep reinforcement learning (DRL) models in this paper. DRL models have demonstrated human-level or even superior performance in the tasks of computer vision and game playings, such as Go and Atari game. However, the adoption of deep reinforcement learning techniques in clinical decision optimization is still rare. We present the first survey that summarizes reinforcement learning algorithms with Deep Neural Networks (DNN) on clinical decision support. We also discuss some case studies, where different DRL algorithms were applied to address various clinical challenges. We further compare and contrast the advantages and limitations of various DRL algorithms and present a preliminary guide on how to choose the appropriate DRL algorithm for particular clinical applications.

研究动机与目标

• 提供深度强化学习（DRL）算法在临床决策支持中应用的全面综述。
• 分析各种DRL算法在临床环境中的权衡与假设。
• 根据特定临床应用需求，提供选择合适DRL模型的实用指南。
• 识别将DRL应用于医疗保健中的关键挑战，包括奖励设计、数据质量和伦理约束。
• 提出使用MIMIC-III数据库作为基准，用于评估重症监护（ICU）环境中DRL模型的表现。

提出的方法

• 对主要DRL算法进行分类与综述，包括深度Q网络（DQN）、双DQN、拟合Q迭代、具有循环结构的深度Q网络（DRQN）以及演员-评论家方法。
• 利用马尔可夫决策过程（MDP）公式建模临床环境中的序列决策，包括状态、动作、转移和奖励函数。
• 使用观察性电子健康记录（EHR）数据——主要来自MIMIC-III和MIMIC-II——对DRL智能体进行训练，以学习真实世界的临床轨迹。
• 采用逆向强化学习（IRL）从专家行为中推断奖励函数，减少对人工设计奖励的依赖。
• 评估探索策略，如ε-贪婪、汤普森采样和信息增益，以在临床环境中平衡探索与利用。
• 提出数据增强和迁移学习技术，以缓解低资源临床环境中数据稀缺的问题。

实验结果

研究问题

• RQ1 在动态、高维的医疗保健环境中，哪些DRL算法最适合临床决策支持？
• RQ2 在结果延迟且多维度的临床环境中，如何有效设计或推断奖励函数？
• RQ3 在真实医疗系统中应用DRL时，关键挑战是什么，特别是关于数据质量、伦理和可解释性方面？
• RQ4 在缺乏标准化评估协议的情况下，如何对DRL模型在临床应用中的表现进行基准测试与验证？
• RQ5 DRL在哪些方面能够超越传统决策支持系统，实现更优的个性化治疗建议？

主要发现

• 双DQN和拟合Q迭代等DRL模型在使用MIMIC-III数据优化脓毒症患者的血管活性药物和液体治疗方面表现出良好性能。
• 采用逆向强化学习使模型能够学习到具有临床合理性的奖励函数，而无需人工设计，从而更好地与真实临床结果对齐。
• 演员-评论家方法和分层强化学习在症状检查和ICU环境下的药物处方等复杂任务中展现出潜力。
• 数据稀缺仍是主要挑战，但迁移学习和基于生成对抗网络（GAN）的数据生成技术为EHR数据有限的机构提供了可行的解决方案。
• 医疗领域缺乏标准化基准，限制了研究的可复现性；作者建议使用MIMIC-III作为未来DRL临床应用的基准基础。
• ε-贪婪和汤普森采样等探索策略在临床DRL中可行，但伦理约束要求谨慎设计，以避免训练期间造成有害干预。