[論文レビュー] Dynamic Measurement Scheduling for Event Forecasting using Deep RL

Chun‐Hao Chang, Mingjie Mai+1 more|arXiv (Cornell University)|Jan 24, 2019

Machine Learning in Healthcare参考文献 37被引用数 6

ひとこと要約

本論文は、予測性能と測定コストを共同最適化する、動的で費用対効果に優れた測定スケジューリングのための深層強化学習（DRL）ベースのフレームワークを提案する。MIMIC-III評価において、ICUデータで訓練されたデュイング深層Qネットワークを用いて、測定頻度を31%削減するか、医師の実践に比べて予測ゲインを300%向上させる、患者に応じた適応的スケジューリング方針を学習する。

ABSTRACT

Imagine a patient in critical condition. What and when should be measured to forecast detrimental events, especially under the budget constraints? We answer this question by deep reinforcement learning (RL) that jointly minimizes the measurement cost and maximizes predictive gain, by scheduling strategically-timed measurements. We learn our policy to be dynamically dependent on the patient's health history. To scale our framework to exponentially large action space, we distribute our reward in a sequential setting that makes the learning easier. In our simulation, our policy outperforms heuristic-based scheduling with higher predictive gain and lower cost. In a real-world ICU mortality prediction task (MIMIC3), our policies reduce the total number of measurements by $31\%$ or improve predictive gain by a factor of $3$ as compared to physicians, under the off-policy policy evaluation.

研究の動機と目的

• 重症ケアにおける余分な検査の高コストと非効率性に対処するため、データ駆動型で動的な測定スケジューリングシステムを開発すること。
• ICU死亡などの有害事象の予測精度を最大化すると同時に、測定コストを最小限に抑えること。
• 臨床的測定スケジューリングに一般的に見られる大規模で逐次的な行動空間を処理できるスケーラブルなRLフレームワークを構築すること。
• 実世界のICUデータを用いたオフポリシー評価を用いて、学習された方針を医師の実践とランダムベースラインと比較すること。
• 患者の履歴と状態の変化に応じて進化する、臨床的に解釈可能な適応的測定方針を提供すること。

提案手法

• 2段階のフレームワーク：まず、長短記憶ネットワーク（LSTM）が不規則で時間的に変化するEHRデータから、患者の状態をモデル化し、死亡率などのイベント発生確率を予測する。
• 次に、予測ゲインを最大化し、測定コストを最小化することで、動的測定スケジューリング方針を学習するデュイング深層Qネットワーク（DQN）を採用する。
• DQNエージェントは、患者履歴を要約するLSTMの隠れ状態と、1-of-Kエンコーディングされた前回の測定結果を入力とし、文脈に応じた意思決定を可能にする。
• 行動空間が指数関数的に増大するのを防ぐために、逐次的行動設定を採用し、エージェントが1回の測定ごとに意思決定を行うことで、学習の安定性を向上させる。
• 報酬設計には、各測定後の予測イベント確率の変化を用い、イベントベースの報酬よりも即時のフィードバックが得られ、学習が容易になる。
• オンライン導入を必要とせず、医師とランダムベースラインとの比較にオフポリシー評価（OPPE）を用いる。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習エージェントは、ICU環境において、測定コストを削減しながら予測性能を向上させる動的測定スケジューリング方針を学習できるか？
• RQ2 学習されたDRL方針の性能は、実世界のICUデータにおける医師指導致命とランダムスケジューリングと比べてどの程度か？
• RQ3 DRLエージェントは、患者の変化する健康履歴と過去の測定結果に基づいて、測定戦略をどの程度適応的に変更できるか？
• RQ4 逐次的行動設定は、臨床的血液検査スケジューリングに一般的に見られる大規模な行動空間へのスケーラビリティを効果的に実現できるか？
• RQ5 不規則なサンプリングと高次元特徴を有する実世界データに対しても、フレームワークは一般化可能であり、臨床的関連性を維持できるか？

主な発見

• MIMIC-III ICUデータセットにおいて、DRLベースのスケジューリング方針は医師の実践に比べ、測定回数を31%削減しながらも、予測性能を維持または向上させた。
• 同じ方針は、オフポリシー評価において、医師方針に比べて予測ゲイン（情報ゲイン）を300%向上させた。
• 学習された方針は適応的行動を示し、最近のデータがない場合に測定を増やす一方で、最近の測定がある場合には測定頻度を減らしており、臨床的直感と整合的であった。
• 逐次的DQNフレームワークは、潜在的な血液検査の大きな行動空間を効果的に処理し、スケーラブルで安定した学習を可能にした。
• 定性的分析から、特に状態が悪化する患者において、ラクタートやクレアチニンといった臨床的に重要な測定をエージェントが優先することがわかった。
• シミュレーションにおいて、ベースライン分類器がほぼ完璧であっても、フレームワークはヒューリスティックなスケジューリングルールを上回り、ロバストで戦略的学習の能力を示した。