[论文解读] Enabling risk-aware Reinforcement Learning for medical interventions through uncertainty decomposition

Paul Festor, Giulia Luise+2 more|arXiv (Cornell University)|Sep 16, 2021

Health Systems, Economic Evaluations, Quality of Life被引用 4

一句话总结

本文提出了一种分布强化学习方法 UA-DQN，通过分解医学决策代理中的随机不确定性与认知不确定性，实现风险感知的临床决策支持。该方法将环境动态中的噪声与模型知识局限性分离，提供可解释的不确定性估计，已在网格世界和基于 MIMIC-III 数据的脓毒症治疗 MDP 中验证，显示出行为一致且可区分的不确定性模式。

ABSTRACT

Reinforcement Learning (RL) is emerging as tool for tackling complex control and decision-making problems. However, in high-risk environments such as healthcare, manufacturing, automotive or aerospace, it is often challenging to bridge the gap between an apparently optimal policy learnt by an agent and its real-world deployment, due to the uncertainties and risk associated with it. Broadly speaking RL agents face two kinds of uncertainty, 1. aleatoric uncertainty, which reflects randomness or noise in the dynamics of the world, and 2. epistemic uncertainty, which reflects the bounded knowledge of the agent due to model limitations and finite amount of information/data the agent has acquired about the world. These two types of uncertainty carry fundamentally different implications for the evaluation of performance and the level of risk or trust. Yet these aleatoric and epistemic uncertainties are generally confounded as standard and even distributional RL is agnostic to this difference. Here we propose how a distributional approach (UA-DQN) can be recast to render uncertainties by decomposing the net effects of each uncertainty. We demonstrate the operation of this method in grid world examples to build intuition and then show a proof of concept application for an RL agent operating as a clinical decision support system in critical care

研究动机与目标

• 解决高风险医疗干预中强化学习缺乏不确定性感知的问题。
• 在强化学习智能体中区分随机不确定性（环境动态中的随机性）与认知不确定性（模型知识局限性）。
• 通过向临床决策支持系统（CDSS）中的临床医生揭示不确定性来源，实现风险感知的决策。
• 在合成的网格世界环境和基于 MIMIC-III 数据构建的真实脓毒症治疗 MDP 中验证该方法。
• 通过不确定性分解提升基于强化学习的临床推荐系统在信任度与可解释性方面的表现。

提出的方法

• 将分布强化学习（DQN）适配于建模回报分布，并将不确定性分解为随机与认知两部分。
• 使用神经网络预测回报分布的参数，通过方差分解方法推导出随机与认知不确定性。
• 应用不确定性分解方法，将随机不确定性估计为回报分布的方差，将认知不确定性估计为多次前向传播中使用 dropout 所得方差。
• 在基于 MIMIC-III 危重症数据集构建的马尔可夫决策过程（MDP）上训练智能体，重点针对脓毒性休克患者的血管活性药物与液体输注剂量。
• 在具有随机风力动态的网格世界中验证方法，以在受控条件下展示其正确的不确定性行为。
• 可视化状态-动作空间中的不确定性估计，并将认知不确定性与状态访问频率相关联，以验证模型行为。

实验结果

研究问题

• RQ1 分布强化学习框架能否在医学决策中有效分解随机不确定性与认知不确定性？
• RQ2 在已知随机性来源与数据稀疏性环境中的估计不确定性分量是否表现出预期行为？
• RQ3 不确定性分解能否提升基于强化学习的临床决策支持系统的可解释性与可信度？
• RQ4 在真实的危重症 MDP 中，认知不确定性与随机不确定性如何与数据稀疏性和环境随机性相关联？
• RQ5 不确定性估计能否帮助临床医生区分治疗建议中的随机结果与模型不确定性？

主要发现

• 在网格世界中，随机不确定性在悬崖边缘最高，因风力引起的随机性对结果影响最大，证实了对环境噪声的正确敏感性。
• 认知不确定性在访问频率较低的状态中最高，特别是在右上角区域，证实了对数据稀缺性的敏感性。
• 在脓毒症 MDP 中，认知不确定性与状态访问频率呈负相关，验证了方法检测数据稀少区域的能力。
• 不确定性估计在状态-动作空间中的分布呈现出明显且不重叠的模式，支持了成功的不确定性分解。
• 系统生成了基于认知不确定性的置信度评分与基于随机不确定性的结果变异性估计，适合集成到临床界面中。
• 该方法表明，高随机不确定性反映了患者结果中的固有随机性，而高认知不确定性则表示因数据有限导致的模型不确定性，从而支持更优的临床风险评估。