[論文レビュー] Improving Sepsis Treatment Strategies by Combining Deep and Kernel-Based Reinforcement Learning

Xuefeng Peng, Yi Ding+7 more|arXiv (Cornell University)|Jan 15, 2019

Sepsis Diagnosis and Treatment参考文献 20被引用数 45

ひとこと要約

この論文は、カーネルベースと深層強化学習を組み合わせたミクスチャー・オブ・エキスパーツ（MoE）フレームワークを提案し、再帰的ヒストリーレプレゼンテーションとオフポリシー評価を用いて敗血症の治療（静注液と昇圧薬）を個別化する。大規模な後向きコホートで臨床医、カーネルのみ、DRLのみのポリシーを上回る。

ABSTRACT

Sepsis is the leading cause of mortality in the ICU. It is challenging to manage because individual patients respond differently to treatment. Thus, tailoring treatment to the individual patient is essential for the best outcomes. In this paper, we take steps toward this goal by applying a mixture-of-experts framework to personalize sepsis treatment. The mixture model selectively alternates between neighbor-based (kernel) and deep reinforcement learning (DRL) experts depending on patient's current history. On a large retrospective cohort, this mixture-based approach outperforms physician, kernel only, and DRL-only experts.

研究の動機と目的

• heterogeneous な患者応答のための個別化敗血症管理を動機づける。
• 二つのRLパラダイムを組み合わせて長所を活かすフレームワークを開発する。
• 意思決定を informing するために再帰的自己符号化器で患者の全履歴をエンコードする。
• 提案アクションを臨床的に妥当とするためのセーフガードを組み込む。
• オフポリシー手法でポリシーを評価し、臨床医と単一エキスパートポリシーと比較する。

提案手法

• 患者の全履歴を128次元状態にエンコードするLSTM自己符号化器を使用する。
• RL訓練を導くために予測死亡ロジ odds の変化に基づく各遷移報酬を定義する。
• 回収データからポリシーを評価するために重み付き二重頑健（WDR）推定量を用いる。
• 二つのエキスパートポリシーを導出する：生存患者上のカーネルベース最近傍法とデュアルDQNを用いたダブリングアーキテクチャ（DRL）。
• 同様の隣人の中で少なくとも1%の頻度で臨床医がとったアクションにDRLを制限して安全性を向上させる。
• 専門家を混合するMoEゲーティング機能を用いて文脈に基づきカーネルとDRLポリシーを選択する。線形ゲーティング関数と確率のシグモイドで表現する。

実験結果

リサーチクエスチョン

• RQ1 カーネルベースと深層RLポリシーの混成は臨床医や単一エキスパートポリシーを超える敗血症治療意思決定をもたらすか？
• RQ2 再帰的エンコードによる全履歴の組み込みはポリシー性能を改善するか？
• RQ3 MoEゲーティング戦略は状態の推移におけるポリシー選択とアウトカムにどのような影響を与えるか？
• RQ4 オフポリシー評価（WDR）は後向きデータでこれらのポリシーを比較する際に信頼できるか？

主な発見

Policy	Non-recurrent encoded	Kernel	DQN	MoE_Vd,Qd	MoE_Vb,Qb
非再帰エンコード	医師	3.76	3.73	4.06	3.93	4.31
再帰エンコード	医師	3.76	4.46	4.23	5.03	5.72

• MoEポリシーはテストセットで医師、カーネルのみ、DRLのみポリシーをWDR目的で上回った。
• 患者履歴の再帰的エンコードは再帰なしエンコードと比べて全RLポリシーの性能を改善した。
• カーネルポリシーは保守的になりがちで、DRL（DQN）はより積極的な液体投与と昇圧薬の使用を示唆する；MoEはこれらの傾向をバランスさせる。
• 非再帰エンコードではMoEは baselineの医師4.31対3.76、再帰エンコードではMoEは5.72に達し、他のすべてのポリシーを上回る。
• オフポリシー評価ではMoEの重要度重みの90%が非ゼロであり広範なデータ使用を示唆するが、ISベースの推定量は医療設定で高分散になる可能性がある。
• 訓練と評価の時間からMoEはテスト時に1人の患者経路あたり約0.16秒で推奨を計算できる。