[論文レビュー] Is Deep Reinforcement Learning Ready for Practical Applications in Healthcare? A Sensitivity Analysis of Duel-DDQN for Sepsis Treatment

Mingyu Lu, Zachary Shahn+3 more|arXiv (Cornell University)|May 8, 2020

Machine Learning in Healthcare参考文献 13被引用数 2

ひとこと要約

本研究では、Dueling-DDQNエージェントがICU患者の敗血症治療方針を学習する際の感受性を評価する。入力特徴量、時間離散化、報酬関数、乱数シードの変化が学習された方針を顕著に変化させることを発見し、臨床応用に向けた解釈の際には感受性分析を徹底的に行う必要があることを示唆している。

ABSTRACT

The potential of Reinforcement Learning (RL) has been demonstrated through successful applications to games such as Go and Atari. However, while it is straightforward to evaluate the performance of an RL algorithm in a game setting by simply using it to play the game, evaluation is a major challenge in clinical settings where it could be unsafe to follow RL policies in practice. Thus, understanding sensitivity of RL policies to the host of decisions made during implementation is an important step toward building the type of trust in RL required for eventual clinical uptake. In this work, we perform a sensitivity analysis on a state-of-the-art RL algorithm (Dueling Double Deep Q-Networks)applied to hemodynamic stabilization treatment strategies for septic patients in the ICU. We consider sensitivity of learned policies to input features, time discretization, reward function, and random seeds. We find that varying these settings can significantly impact learned policies, which suggests a need for caution when interpreting RL agent output.

研究の動機と目的

• 敗血症ICU患者の血行動態安定化方針を学習する深層強化学習エージェントの頑健性を評価すること。
• 臨床現場における実装選択が学習されたRL方針に与える影響を調査すること。
• 臨床応用における信頼を損なう可能性のある、RL方針性能の主な変動要因を同定すること。
• 現実世界の医療文脈におけるハイパーパrameterおよび設計意思決定に対するDueling-DDQNの感受性に関する実証的証拠を提供すること。

提案手法

• 本研究では、ICUデータを用いて敗血症患者の最適な治療戦略を学習するために、Dueling Double Deep Q-Networks（Dueling-DDQN）を適用する。
• アルゴリズムは時系列生理学的データを用いて、血行動態安定化のための逐次的治療意思決定を行うように訓練される。
• 感受性分析は、入力特徴量、時間離散化間隔、報酬形状関数、乱数シードを体系的に変化させることで実施される。
• 異なる設定における方針性能を評価し、治療戦略および予後予測の変化を測定する。
• 設定間での方針乖離を定量的に評価し、学習済みエージェントの安定性および信頼性を評価する。

実験結果

リサーチクエスチョン

• RQ1 入力特徴量の選択が、敗血症管理におけるDueling-DDQNエージェントが学習する方針にどのように影響するか？
• RQ2 時間離散化が、RL方針の安定性および性能にどの程度影響を及えるか？
• RQ3 形状付けられた報酬関数の変更に対して、学習された方針はどの程度感受性を示すか？
• RQ4 トレーニング中に異なる乱数シードを用いた場合、方針行動はどの程度変動するか？

主な発見

• 入力特徴量の変化が、RLエージェントが学習する治療方針に顕著な差をもたらし、特徴量選択に対する感受性が非常に高いことを示している。
• 異なる時間離散化間隔は、エージェントの方針構造および意思決定パターンを顕著に変化させた。
• 報酬関数の設計が方針行動に強く影響し、変更によって異なる治療戦略が生じた。
• 乱数シードの変更により、方針の結果に顕著なばらつきが生じ、トレーニングランごとの方針収束の不安定性が示された。