[論文レビュー] Continuous State-Space Models for Optimal Sepsis Treatment - a Deep Reinforcement Learning Approach

Aniruddh Raghu, Matthieu Komorowski+3 more|arXiv (Cornell University)|May 23, 2017

Sepsis Diagnosis and Treatment参考文献 20被引用数 102

ひとこと要約

本論文は、連続状態深層強化学習モデル（DDQN with dueling and autoencoder latent states）を用いて、ICUデータから最適な敗血症治療方針を学習し、潜在的な死亡率削減を達成する。

ABSTRACT

Sepsis is a leading cause of mortality in intensive care units (ICUs) and costs hospitals billions annually. Treating a septic patient is highly challenging, because individual patients respond very differently to medical interventions and there is no universally agreed-upon treatment for sepsis. Understanding more about a patient's physiological state at a given time could hold the key to effective treatment policies. In this work, we propose a new approach to deduce optimal treatment policies for septic patients by using continuous state-space models and deep reinforcement learning. Learning treatment policies over continuous spaces is important, because we retain more of the patient's physiological information. Our model is able to learn clinically interpretable treatment policies, similar in important aspects to the treatment policies of physicians. Evaluating our algorithm on past ICU patient data, we find that our model could reduce patient mortality in the hospital by up to 3.6% over observed clinical policies, from a baseline mortality of 13.7%. The learned treatment policies could be used to aid intensive care clinicians in medical decision making and improve the likelihood of patient survival.

研究の動機と目的

• 敗血症治療がなぜ難しく、個別化された方針が必要であるかを動機づける。
• 豊富な患者状態情報を保持するための連続状態深層強化学習を提案する。
• 潜在表現を用いた連続状態 DDQNベースの方針を開発・比較する。
• 学習した方針をICUデータに適用した際の潜在的な死亡率低減を示す。
• 学習した方針の解釈性と臨床的関連性を評価する。

提案手法

• 敗血症治療を連続状態と離散化された行動を用いたオフポリシーRL問題としてモデル化する。
• ターゲットネットワークと優先度付き経験再生を備えた Duelling Double Deep Q-Network (Dueling DDQN) を使用する。
• 疎オートエンコーダを介した補助的潜在状態表現をQネットワークの入力として組み込む。
• IV液量と血管加圧薬投与量の5×5空間に行動を離散化し、Q*(s,a)を学習する。
• Doubly Robust Off-policy Value Evaluationを用いてポリシー値を推定し、オフポリシーを評価する。
• 基準の離散化モデル、Normal Q-N、および autoencoder Q-N ポリシーを比較する。

実験結果

リサーチクエスチョン

• RQ1 連続状態RLはICUデータから臨床的に解釈可能な敗血症治療方針を学習できるか？
• RQ2 連続状態の方針は医師の方針と比較して入院死亡率を低減するか？
• RQ3 潜在状態表現が方針の品質と臨床的解釈性に与える影響はどの程度か？
• RQ4 血管加圧薬とIV液の使用において、学習された方針は医師のアプローチとどのように異なるか？

主な発見

Policy	Expected Return	Estimated Mortality
Physician	9.87	13.9±0.5%
Normal Q-N	10.16	12.8±0.5%
Autoencode Q-N	10.73	11.2±0.4%

• Autoencode-based policy yields the lowest estimated mortality and could reduce mortality by up to 4%.
• Physician policy mortality on test set matches calibration with 13.7% observed mortality.
• Normal Q-N policy shows moderate improvement over physician policy in expected return and mortality.
• Autoencode Q-N achieves higher expected return (10.73) than physician (9.87) and normal Q-N (10.16).
• Discovered policies tend to favor sparing vasopressors and moderate IV fluids, aligning with clinical caution.
• Off-policy evaluation provides an unbiased mortality estimate for learned policies using the Doubly Robust method.