[論文レビュー] Precision medicine as a control problem: Using simulation and deep reinforcement learning to discover adaptive, personalized multi-cytokine therapy for sepsis

Brenden K. Petersen, Jiachen Yang+5 more|arXiv (Cornell University)|Feb 8, 2018

Sepsis Diagnosis and Treatment参考文献 32被引用数 14

ひとこと要約

本研究では、深層強化学習（DDPG）を用いて、インナーアイミューン応答のエージェントベースシミュレーション（IIRABM）を制御する、適応的で個人化された多サイトコイン療法を提案する。訓練患者では死亡率0%を達成し、ベースライン死亡率が1–99%の500種類の多様な患者パラメータ化においても0.8%の死亡率を達成した。これは、フィードバック駆動型で動的であるサイトコイン調節が、膿血症の進行を制御する可能性を示している。

ABSTRACT

Sepsis is a life-threatening condition affecting one million people per year in the US in which dysregulation of the body's own immune system causes damage to its tissues, resulting in a 28 - 50% mortality rate. Clinical trials for sepsis treatment over the last 20 years have failed to produce a single currently FDA approved drug treatment. In this study, we attempt to discover an effective cytokine mediation treatment strategy for sepsis using a previously developed agent-based model that simulates the innate immune response to infection: the Innate Immune Response agent-based model (IIRABM). Previous attempts at reducing mortality with multi-cytokine mediation using the IIRABM have failed to reduce mortality across all patient parameterizations and motivated us to investigate whether adaptive, personalized multi-cytokine mediation can control the trajectory of sepsis and lower patient mortality. We used the IIRABM to compute a treatment policy in which systemic patient measurements are used in a feedback loop to inform future treatment. Using deep reinforcement learning, we identified a policy that achieves 0% mortality on the patient parameterization on which it was trained. More importantly, this policy also achieves 0.8% mortality over 500 randomly selected patient parameterizations with baseline mortalities ranging from 1 - 99% (with an average of 49%) spanning the entire clinically plausible parameter space of the IIRABM. These results suggest that adaptive, personalized multi-cytokine mediation therapy could be a promising approach for treating sepsis. We hope that this work motivates researchers to consider such an approach as part of future clinical trials. To the best of our knowledge, this work is the first to consider adaptive, personalized multi-cytokine mediation therapy for sepsis, and is the first to exploit deep reinforcement learning on a biological simulation.

研究の動機と目的

• 適応的で個人化された多サイトコイン療法が、膿血症の進行を効果的に制御し、死亡率を低下させることができるかを調査すること。
• 固定投与量と投与タイミングを用いた単一サイトコイン、静的治療法に失敗した過去の膿血症試験を克服すること。
• 全身的患者測定値を用いたフィードバックベースの動的治療戦略が、従来のアプローチを上回る可能性があるかを検討すること。
• 学習された治療ポリシーが、広範な臨床的妥当な患者状態の範囲で一般化性と頑健性を示すかを評価すること。
• 深層強化学習を用いて複雑な生物学的シミュレーションを制御する、精密医療のための新規フレームワークを確立すること。

提案手法

• 多層勾配降下法（DDPG）アルゴリズムを用いて、多サイトコイン治療ポリシーを最適化する強化学習エージェントを訓練した。
• 治療ポリシーは、リアルタイムの全身的患者測定値を入力とし、フィードバックループ内でサイトコイン調節を動的に調整する。
• IIRABMシミュレーションは、感染に対するインナーアイミューン応答を、免疫細胞とサイトコインのエージェントベース相互作用でモデル化する。
• アクション空間には、各タイムステップで複数のサイトコイン（例：IL-1、IFN-γ、IL-10）の上昇調節または阻害が含まれる。
• 環境は1つの患者パラメータ化で訓練され、ベースライン死亡率が1%～99%の500人のランダムに抽出された患者で評価された。
• 生存結果に基づきポリシーを評価し、死亡率を主な報酬信号とした。

実験結果

リサーチクエスチョン

• RQ1 フィードバックベースの適応的多サイトコイン療法は、静的で単一サイトコイン介入と比較して、膿血症死亡率を顕著に低減できるか？
• RQ2 1つの患者プロファイルで訓練された深層強化学習ポリシーは、広範な患者固有の膿血症進行に一般化できるか？
• RQ3 シミュレーションベースのアプローチは、従来の臨床試験設計では実現不可能な治療戦略を発見できるか？
• RQ4 効果的で個人化された免疫調節ポリシーの定性的および定量的特徴は何か？
• RQ5 データ駆動型で適応的な制御を用いることで、複雑で動的な生物学的システムでほぼゼロ死亡率を達成できるか？

主な発見

• 深層強化学習ポリシーは、訓練に用いた患者パラメータ化において0%の死亡率を達成し、その場合の膿血症進行の完全な制御を示した。
• ベースライン死亡率が1%～99%（平均49%）の500人のランダムに選択された患者パラメータ化において、ポリシーは0.8%の死亡率を達成した。
• ポリシーは適応的行動を示し、初期損傷度がより高い患者では、IL-1などのプロインフレマトリー・サイトコインの抑制を遅らせるなど、生物学的直感に合致した振る舞いを示した。
• ポリシーは、複数のサイトコインの時間的に変化する調整を連携して行い、早期には上昇調節、後期には阻害を行うなど、免疫系のダイナミクスと整合的だった。
• 結果から、特に高死亡率状況下でも、個人化された適応的多サイトコイン療法が膿血症に対して実用的な戦略である可能性が示唆された。
• 本研究は、生物学的シミュレーションを制御するための深層強化学習の応用を初めて実施し、膿血症に対する適応的で個人化された多サイトコイン療法を提唱した。