[論文レビュー] Representation and Reinforcement Learning for Personalized Glycemic Control in Septic Patients

Wei‐Hung Weng, Mingwu Gao+3 more|arXiv (Cornell University)|Dec 2, 2017

Hyperglycemia and glycemic control in critically ill and hospitalized patients参考文献 12被引用数 46

ひとこと要約

本研究では、後向きに取得したICUデータを用いて、重症患者の個別化された最適血糖値目標を特定するための表現学習を組み込んだ強化学習（RL）フレームワークを提案する。患者状態をスパース自己符号化器で符号化し、方策反復を適用することで、推定90日生存率が6.3%（31%から24.75%へ）低下する最適方策を学習した。

ABSTRACT

Glycemic control is essential for critical care. However, it is a challenging task because there has been no study on personalized optimal strategies for glycemic control. This work aims to learn personalized optimal glycemic trajectories for severely ill septic patients by learning data-driven policies to identify optimal targeted blood glucose levels as a reference for clinicians. We encoded patient states using a sparse autoencoder and adopted a reinforcement learning paradigm using policy iteration to learn the optimal policy from data. We also estimated the expected return following the policy learned from the recorded glycemic trajectories, which yielded a function indicating the relationship between real blood glucose values and 90-day mortality rates. This suggests that the learned optimal policy could reduce the patients' estimated 90-day mortality rate by 6.3%, from 31% to 24.7%. The result demonstrates that reinforcement learning with appropriate patient state encoding can potentially provide optimal glycemic trajectories and allow clinicians to design a personalized strategy for glycemic control in septic patients.

研究の動機と目的

• 重症敗血症患者におけるデータ駆動型で個別化された血糖コントロールのアプローチを開発し、一様な血糖値目標から脱却すること。
• 現実世界のデータから最適な血糖値トレースを学習することで、集中治療における高い血糖変動と不良な予後という課題に対処すること。
• 強化学習と患者状態表現を用いて、個別化された血糖値目標を特定することで、90日生存率を低下させること。
• 個別患者の生理的・病理的状態に基づいて最適なグルコース基準範囲を提示する意思決定支援ツールを臨床医に提供すること。
• 生存率を主なアウトカム指標として、シミュレートされた最適トレースと現実世界の血糖コントロール結果を比較することで、手法の妥当性を検証すること。

提案手法

• 患者状態の表現に、臨床的特徴の生データと32次元のスパース自己符号化器で学習された潜在表現の両方を用い、状態符号化を向上させた。
• 90日生存率を報酬信号として、マルコフ決定過程（MDP）を定式化した。生存には+100、90日以内に死亡した場合は-100の報酬を設定した。
• 行動は離散化されたグルコース値であり、11のボックスに分類され、臨床意思決定における目標グルコース範囲を表した。
• 期待報酬（Q*）を最大化する最適方策π*を学習するために、方策反復を用いた。これは、最良の予測生存結果を表す。
• 期待報酬関数を用いて、現実世界のトレースとシミュレートされたトレースの両方の死亡率を推定し、比較を可能にした。
• 高次元状態空間の管理と方策の一般化を向上させるために、状態クラスタリング（Ng, 2011）を適用した。

実験結果

リサーチクエスチョン

• RQ1 学習された患者状態表現を用いた強化学習は、敗血症性ICU患者の生存率を向上させる個別化された最適血糖値目標を特定できるか？
• RQ2 患者状態表現の選択（生データ対自己符号化済み）が、90日生存率を予測するための学習済みRL方策の性能に与える影響はいかほどか？
• RQ3 最適方策は、現実世界の血糖コントロール実践と比較して、推定90日生存率をどの程度低下させられるか？
• RQ4 学習された期待報酬関数は、死亡率という指標で測定した実際の患者の結果を的確に反映しているか？
• RQ5 このRLフレームワークは、集中治療における個別化されたグルコース目標を設定するための信頼できる意思決定支援ツールとして機能できるか？

主な発見

• スパース自己符号化器で符号化された状態からの最適方策は、推定90日生存率を24.75%に低下させ、現実世界の31.17%から6.3%の絶対的低下を達成した。
• 生特徴量を用いた場合、最適方策は現実方策の31.00%から27.29%に推定死亡率を低下させ、3.71%の改善を達成した。
• 最適方策から学習された期待報酬関数は、実際の死亡率と強く負の相関を示し、その予測能力を裏付けた。
• 現実トレースから推定された死亡率–期待報酬関数は、実際の90日死亡率（31.17%）とよく一致しており、モデルの信頼性を確認した。
• スパース自己符号化器からの潜在表現は、方策性能を向上させ、生特徴量と比較して推定死亡率を2.46ポイント低下させた。
• 本手法は、RLを用いて導出された個別化された血糖値目標が、敗血症性ICU患者の予測される結果を顕著に改善できることを示した。