[論文レビュー] Medical Dead-ends and Learning to Identify High-risk States and Treatments

Mehdi Fatemi, Taylor W. Killian+2 more|arXiv (Cornell University)|Oct 8, 2021

Machine Learning in Healthcare参考文献 59被引用数 8

ひとこと要約

本稿では、限られたデータと倫理的に許されない探索が制限される状況下でも、ICU敗血症症例における患者の死亡に至る可能性の高い状態や治療法を同定する、強化学習フレームワーク「デッドエンド・ディスcovery（DeD）」を提案する。深層Qネットワークを用いて「デッドエンド」の発生確率と治療の到達可能性を推定することで、終末期患者に投与された治療の12％が生存確率を低下させていることが判明し、臨床的介入の4～8時間前には悪化兆候が検出可能である。

ABSTRACT

Machine learning has successfully framed many sequential decision making problems as either supervised prediction, or optimal decision-making policy identification via reinforcement learning. In data-constrained offline settings, both approaches may fail as they assume fully optimal behavior or rely on exploring alternatives that may not exist. We introduce an inherently different approach that identifies possible "dead-ends" of a state space. We focus on the condition of patients in the intensive care unit, where a "medical dead-end" indicates that a patient will expire, regardless of all potential future treatment sequences. We postulate "treatment security" as avoiding treatments with probability proportional to their chance of leading to dead-ends, present a formal proof, and frame discovery as an RL problem. We then train three independent deep neural models for automated state construction, dead-end discovery and confirmation. Our empirical results discover that dead-ends exist in real clinical data among septic patients, and further reveal gaps between secure treatments and those that were administered.

研究の動機と目的

• データ不足と倫理的制約により探索が不可能な医療分野におけるオフライン強化学習の限界を克服すること。
• 将来的な治療にかかわらず死亡が避けられない状態（「デッドエンド」）を、データに含まれる最適行動に依存せずに同定すること。
• 回復を最適化するのではなく、有害な治療を回避する手法を開発することで、データ制限下でも安全性を向上させること。
• 実際の敗血症ICUデータを用いて本手法を検証し、悪化トレースの早期検出を示すこと。

提案手法

• 将来的な行動にかかわらず死亡が避けられない状態として「医療的デッドエンド」を形式化し、特別な報酬設計を施した二つのMDPフレームワークを用いる。
• 二つの独立したディープQネットワークを訓練する：Dネットワークはデッドエンドへの到達確率（価値関数V_D）を推定し、Rネットワークは良好な結果への到達可能性（価値関数V_R）を推定する。
• 「治療の安全性」を、デッドエンドへの到達確率が非常に高い治療を避けることとして定義し、価値関数の性質を用いて形式的に証明する。
• しきい値ベースのフラグリングを採用：V_Dがδ_D未満かつV_Rがδ_Rを超えると、高リスク状態として赤色フラグが発動する。
• t-SNE可視化とチャートノート分析を用いて、モデル出力の解釈性を高め、臨床的妥当性を検証する。
• 後向きに取得したICUデータを用いてモデルを訓練し、探索を必要とせず、観察された結果のみからリスクを推定する。

実験結果

リサーチクエスチョン

• RQ1 オフラインデータのみを用いて、将来的な治療にかかわらず死亡が避けられない状態を同定できるか？
• RQ2 終末期の敗血症患者に投与されている現在の治療は、どれほど死亡リスクを高めているか？（デッドエンド発生確率の観点から）
• RQ3 デッドエンド発生確率の上昇を検出することで、介入の前触れとしての早期悪化兆候を同定できるか？
• RQ4 生存者と非生存者の間で、DネットワークとRネットワークの価値関数はどのように異なるか？これは治療リスクに関する何を示唆するか？
• RQ5 本フレームワークは、データが少なく探索ができない安全が重要な分野へ一般化可能か？

主な発見

• DeDは実際の敗血症ICUデータにおいてデッドエンドを効果的に同定し、一部の患者状態は治療にかかわらず不可逆的に致命的であることを確認した。
• 終末期患者に投与された治療の12％が、生存確率を顕著に低下させている。一部の治療は死亡の24時間以上前から投与されていた。
• Dネットワークの価値関数は、臨床的介入の4～8時間前に著しい患者悪化を検出でき、早期警告の可能性を示している。
• 非生存者では、生存者と比較して赤色フラグ（高いデッドエンド確率）状態が著しく長期間にわたり継続しており、肥大尾分布を示しており、持続的なリスクが存在することが示唆された。
• 生存者は通常、ICU入室当初からいかなるフラグも発動していないため、不可逆的悪化は入室時には存在せず、時間経過とともに発生することがわかった。
• モデルの価値関数には明確な傾向が見られた：生存者トレースでは安定した値を維持しているが、非生存者トレースではV_Dが急激に低下し、V_Rが上昇しており、理論的期待と整合的であった。