[論文レビュー] Enabling risk-aware Reinforcement Learning for medical interventions through uncertainty decomposition

Paul Festor, Giulia Luise+2 more|arXiv (Cornell University)|Sep 16, 2021

Health Systems, Economic Evaluations, Quality of Life被引用数 4

ひとこと要約

本稿では、医療意思決定エージェントにおける aleatoric 不確実性と epistemic 不確実性を分解する分布型強化学習手法 UA-DQN を提案する。環境ダイナミクスに起因するノイズとモデルの知識的限界を分離することで、解釈可能な不確実性推定を可能にし、リスクに配慮した臨床意思決定支援を実現する。グリッドワールドと MIMIC-III データから抽出した敗血症治療の MDP で妥当性が検証され、行動的に整合的な明確な不確実性パターンが得られた。

ABSTRACT

Reinforcement Learning (RL) is emerging as tool for tackling complex control and decision-making problems. However, in high-risk environments such as healthcare, manufacturing, automotive or aerospace, it is often challenging to bridge the gap between an apparently optimal policy learnt by an agent and its real-world deployment, due to the uncertainties and risk associated with it. Broadly speaking RL agents face two kinds of uncertainty, 1. aleatoric uncertainty, which reflects randomness or noise in the dynamics of the world, and 2. epistemic uncertainty, which reflects the bounded knowledge of the agent due to model limitations and finite amount of information/data the agent has acquired about the world. These two types of uncertainty carry fundamentally different implications for the evaluation of performance and the level of risk or trust. Yet these aleatoric and epistemic uncertainties are generally confounded as standard and even distributional RL is agnostic to this difference. Here we propose how a distributional approach (UA-DQN) can be recast to render uncertainties by decomposing the net effects of each uncertainty. We demonstrate the operation of this method in grid world examples to build intuition and then show a proof of concept application for an RL agent operating as a clinical decision support system in critical care

研究の動機と目的

• 高リスクな医療介入における強化学習における不確実性認識の欠如に対処すること。
• 強化学習エージェントにおいて、環境ダイナミクスのランダムネスに起因する aleatoric 不確実性と、モデルの知識的限界に起因する epistemic 不確実性を区別すること。
• 臨床意思決定支援システム（CDSS）において、臨床医に不確実性の原因を提示することで、リスクに配慮した意思決定を可能にすること。
• MIMIC-III データから抽出したリアルな敗血症治療 MDP と、合成的なグリッドワールド環境の両方で、手法の妥当性を検証すること。
• 不確実性の分解により、強化学習に基づく臨床レコメンデーションシステムの信頼性と解釈可能性を向上させること。

提案手法

• 分布型強化学習（DQN）を適応し、報酬の分布をモデル化し、不確実性を aleatoric と epistemic の2成分に分解する。
• ニューラルネットワークを用いて報酬の分布のパラメータを予測し、分散分解により aleatoric 不確実性と epistemic 不確実性を導出する。
• 不確実性分解を適用し、aleatoric 不確実性を報酬分布の分散として推定し、epistemic 不確実性をドロップアウトを用いた複数の順伝播の分散として推定する。
• MIMIC-III の集中治療科データから導出されたマルコフ決定過程（MDP）上でエージェントを訓練し、敗血症患者に対する血管収縮薬および液体投与量の最適化に焦点を当てる。
• スティルな風のダイナミクスを有するグリッドワールドで手法を検証し、制御された条件下で期待通りの不確実性行動を示すことを確認する。
• 状態-行動空間における不確実性推定を可視化し、epistemic 不確実性と状態訪問頻度の相関関係を検証することで、モデルの挙動を裏付ける。

実験結果

リサーチクエスチョン

• RQ1 分布型RLフレームワークは、医療意思決定における aleatoric 不確実性と epistemic 不確実性を効果的に分解できるか？
• RQ2 既知のランダム要因とデータのスパarsity が存在する環境において、推定された不確実性成分は期待通りの挙動を示すか？
• RQ3 不確実性の分解は、強化学習に基づく臨床意思決定支援システムの解釈可能性と信頼性を向上させられるか？
• RQ4 リアルな集中治療 MDP において、epistemic 不確実性と aleatoric 不確実性は、データのスパarsity と環境の確率的性質とどのように相関するか？
• RQ5 不確実性推定は、臨床医が治療レコメンデーションにおけるランダムな結果とモデルの不確実性を区別するのを支援できるか？

主な発見

• グリッドワールドでは、風による確率的影響が最も顕著に現れる崖の付近で aleatoric 不確実性が最も高くなり、環境ノイズへの感受性が正しく反映された。
• epistemic 不確実性は訪問頻度が低い状態、特に右上隅で最も高くなり、データ不足への感受性が確認された。
• 敗血症 MDP においても、epistemic 不確実性は状態訪問頻度と負の相関を示し、データが不足する領域を正しく検出できることを裏付けた。
• 状態-行動空間全体における不確実性推定の分布は、aleatoric 不確実性と epistemic 不確実性で明確に分離され、重複のないパターンを示し、分解の成功を支持した。
• システムは、epistemic 不確実性に基づく信頼度スコアと、aleatoric 不確実性に基づく結果のばらつき推定値を出力し、臨床インターフェースへの統合に適していた。
• 本手法により、高水準の aleatoric 不確実性は患者の結果に内在するランダムネスを示し、高水準の epistemic 不確実性はデータ不足に起因するモデルの不確実性を示すことが明らかになった。これにより、臨床的リスク評価がより洗練されたものとなった。