[論文レビュー] Is Deep Reinforcement Learning Ready for Practical Applications in Healthcare? A Sensitivity Analysis of Duel-DDQN for Hemodynamic Management in Sepsis Patients

Mingyu Lu, Zachary Shahn+3 more|PubMed|May 8, 2020

Sepsis Diagnosis and Treatment参考文献 25被引用数 10

ひとこと要約

本研究は、敗血症患者における血行動態管理のためのDueling Double Deep Q-Network（Duel-DDQN）の実装選択要因にわたる感受性を評価する。入力特徴量、報酬設計、時間離散化、乱数シードのわずかな変更が、顕著に異なる、ときには臨床的に有害な方針をもたらすことが判明した。これは、医療分野における深層強化学習の実用的導入に向けた重大なロバストネスの懸念を示している。

ABSTRACT

The potential of Reinforcement Learning (RL) has been demonstrated through successful applications to games such as Go and Atari. However, while it is straightforward to evaluate the performance of an RL algorithm in a game setting by simply using it to play the game, evaluation is a major challenge in clinical settings where it could be unsafe to follow RL policies in practice. Thus, understanding sensitivity of RL policies to the host of decisions made during implementation is an important step toward building the type of trust in RL required for eventual clinical uptake. In this work, we perform a sensitivity analysis on a state-of-the-art RL algorithm (Dueling Double Deep Q-Networks) applied to hemodynamic stabilization treatment strategies for septic patients in the ICU. We consider sensitivity of learned policies to input features, embedding model architecture, time discretization, reward function, and random seeds. We find that varying these settings can significantly impact learned policies, which suggests a need for caution when interpreting RL agent output.

研究の動機と目的

• 敗血症ICU患者における血行動態管理方針を学習するDuel-DDQNエージェントのロバストネスを評価すること。
• 状態表現、時間離散化、報酬関数などの実装意思決定が学習方針に与える影響を調査すること。
• 見かけ上微小なアルゴリズム的選択が、治療推奨に臨床的に有意な差をもたらすかどうかを評価すること。
• 方針の信頼性に重要な設計選択を特定し、不適切な感受性を引き起こす要因を特定すること。
• 実装のばらつきに起因する方針の不安定性のリスクを明らかにすることで、今後の医療分野におけるDRL応用の指針を提供すること。

提案手法

• 後向きICUデータを用いて、敗血症における逐次的治療意思決定のためのベースラインDuel-DDQNモデルを構築した。
• 治療履歴の含め方、時間ボックスの長さ、報酬関数、埋め込みアーキテクチャ、乱数シード初期化の5つの軸にわたる体系的感度分析を実施した。
• 患者の遷移をモデル化するため、状態、行動、遷移、報酬の要素を有するマルコフ意思決定過程（MDP）フレームワークを用いた。
• Q学習にダブルDQNとデュイングネットワークアーキテクチャを適用し、価値関数推定と方針の安定性を向上させた。
• 同一のデータを用いながら、異なる設定で学習された方針の比較を目的とした、複数のポリシー変種の学習と評価を実施した。
• 推定リターンと臨床的妥当性（SOFAスコアによるサブグループ分析も含む）を用いて方針の質を評価した。

実験結果

リサーチクエスチョン

• RQ1 状態表現に治療履歴を含めない場合、Duel-DDQN方針はどの程度感受性を示すか？
• RQ2 異なる時間離散化間隔は、学習された治療戦略にどのように影響するか？
• RQ3 報酬関数の変化が最終的な方針とその臨床的妥当性に与える影響は何か？
• RQ4 状態埋め込みに用いるニューラルネットワークアーキテクチャの選択が、方針のパフォーマンスと安定性に与える影響は何か？
• RQ5 乱数シードの変化が、乖離したかつ臨床的に不適切な方針を生じさせる程度はどの程度か？

主な発見

• 治療履歴を状態から除外した場合、方針は毎回アドレナリンや液体投与を推奨するという、明確に有害な戦略となり、臨床ガイドラインと整合しないことが判明した。
• 異なる乱数シードから得られた方針は、推定リターンは類似していたが、行動分布が顕著に異なっていたため、方針学習の不安定性が示された。
• 報酬関数の設計が方針行動に顕著に影響し、一部の定式化では高リスク患者に対して高用量治療を差し控えるという直感に反する推奨が生じた。
• 時間離散化の選択が方針行動に影響し、短い時間ボックスでは過剰治療が生じやすく、長いボックスでは介入が遅延する傾向があった。
• 状態表現に再帰的ニューラルネットワーク（RNN）を用いた場合、方針のロバストネスが一貫して向上せず、場合によっては不安定な行動を示した。
• SOFAスコアによるサブグループ分析において、DQNエージェントは高リスク患者に対して高用量治療を実施しないという有害な行動を推奨したが、これは訓練データではまれな行動であった。これは、外挿の問題が生じている可能性を示唆している。