[論文レビュー] Model-Based Reinforcement Learning for Sepsis Treatment

Aniruddh Raghu, Matthieu Komorowski+1 more|arXiv (Cornell University)|Nov 23, 2018

Sepsis Diagnosis and Treatment参考文献 15被引用数 29

ひとこと要約

本稿では、MIMIC-IIIのICUデータを用いて、連続的状態空間モデルに基づく強化学習手法を提案し、より優れた敗血症治療方針の発見を目的としている。特に中程度のSOFAスコア領域において、臨床医が策定した方針とRLで学習した方針を統合することで、現在の臨床的実践を上回る推定治療価値を達成しており、より安全でデータ駆動型の敗血症管理の可能性を示している。

ABSTRACT

Sepsis is a dangerous condition that is a leading cause of patient mortality. Treating sepsis is highly challenging, because individual patients respond very differently to medical interventions and there is no universally agreed-upon treatment for sepsis. In this work, we explore the use of continuous state-space model-based reinforcement learning (RL) to discover high-quality treatment policies for sepsis patients. Our quantitative evaluation reveals that by blending the treatment strategy discovered with RL with what clinicians follow, we can obtain improved policies, potentially allowing for better medical treatment for sepsis.

研究の動機と目的

• 連続的生理的状態ダイナミクスを活用するモデルベース強化学習フレームワークを、敗血症治療に適用すること。
• 観察ベースICUデータから高品質な治療方針を学習することで、敗血症における臨床意思決定支援を向上させること。
• 臨床医の行動に従う方針とRLで学習した方針を融合させた場合、単独で臨床医の行動に従う場合と比較して、より優れた治療結果が得られるかどうかを評価すること。
• 分布シフトとモデルの不確実性を考慮した、オフ政策評価手法を用いて方針のパフォーマンスを定量化すること。
• モデルの信頼性に基づき、特に高・低重症度症例では臨床医の方針を優先する、症例別に最適な方針融合戦略を同定すること。

提案手法

• 現在および直近3ステップの状態-行動ペアを条件として、ニューラルネットワークを用いて状態遷移ダイナミクスをモデル化し、状態変化Δt = st+1 − stを予測する。
• ベイジアンニューラルネットワーク（BNN）を用いて、状態遷移の完全な予測分布を推定し、不確実性の定量化を可能にする。
• 198次元の状態ベクトル（直近3ステップ分の生理的データを連結）を用いて、Adam最適化法で環境モデルを学習する。
• 行動クラーニングにより臨床医の行動から初期化されたProximal Policy Optimization（PPO）を用いて、治療方針を学習する。
• PHWIS、PHWDR、およびAM推定器を用いてオフ政策評価を実施し、k-NN（k=250）モデルを用いて臨床医の行動方針を近似する。
• 方針融合を実装し、予測不確実性が高い低・高SOFA重症度領域では臨床医の方針を選択し、中程度の重症度ではRL方針を採用する。

実験結果

リサーチクエスチョン

• RQ1 観察ベースICUデータから、連続的状態空間モデルに基づく強化学習が、改善された敗血症治療方針を発見できるか？
• RQ2 オフ政策推定器を用いて評価した場合、RLで学習した方針のパフォーマンスは、現在の臨床的実践と比較してどのように異なるか？
• RQ3 SOFAスコアに基づく重症度領域（低・中・高）において、臨床医とRL方針を融合させた場合、期待される結果が最も高くなるのはどの領域か？
• RQ4 高・低重症度領域におけるモデルの不確実性は、RL方針に依存するのではなく、臨床医のプロトコルに従うことを正当化するか？
• RQ5 異なるオフ政策評価推定器（PHWIS、PHWDR、AM）は、方針の価値ランク付けに関してどの程度一致するか？

主な発見

• 臨床医の方針を低・高SOFA領域に、PPOで学習した方針を中SOFA領域に適用した最良のパフォーマンスを示す方針は、PHWDR推定器を用いて12.8の推定価値を達成した。
• PHWISおよびPHWDR推定器の両方が、方針の融合が臨床医の行動に従う場合（ベースライン値：9.90）よりも高い期待報酬をもたらすことを示している。
• AM推定器は方針の差異をほとんど識別できず、本設定では方針の違いに対して感受性が低い可能性を示唆している。
• 中SOFA領域では、RLで学習した方針が臨床医の方針を上回った。これは、モデルベースRLが臨床行動のばらつきが大きい分野で、より優れた戦略を同定できることを示している。
• 高・低SOFA領域では、環境モデルの予測精度が、高い確率的ノイズと低信号強度のため低く、臨床医の方針に従うことで性能の推定値が向上した。
• 結果から、モデルベースRLは、治療意思決定が最も曖昧である中程度の重症度症例において、臨床的経験を補完し、最適な行動を同定できることを示唆している。