[論文レビュー] A Reinforcement Learning Approach to Weaning of Mechanical Ventilation in Intensive Care Units

Niranjani Prasad, Li Cheng+3 more|arXiv (Cornell University)|Apr 20, 2017

Intensive Care Unit Cognitive Disorders参考文献 14被引用数 111

ひとこと要約

本論文は、ICUにおける機械的換気と鎮静からの離脱を導くためのデータ駆動型のオフポリシー強化学習フレームワークを提案し、歴史的なMIMIC-IIIデータを用いて再挿管を最小化しバイタルを安定化させることを目的とした患者特異的ポリシーを学習する。

ABSTRACT

The management of invasive mechanical ventilation, and the regulation of sedation and analgesia during ventilation, constitutes a major part of the care of patients admitted to intensive care units. Both prolonged dependence on mechanical ventilation and premature extubation are associated with increased risk of complications and higher hospital costs, but clinical opinion on the best protocol for weaning patients off of a ventilator varies. This work aims to develop a decision support tool that uses available patient information to predict time-to-extubation readiness and to recommend a personalized regime of sedation dosage and ventilator support. To this end, we use off-policy reinforcement learning algorithms to determine the best action at a given patient state from sub-optimal historical ICU data. We compare treatment policies from fitted Q-iteration with extremely randomized trees and with feedforward neural networks, and demonstrate that the policies learnt show promise in recommending weaning protocols with improved outcomes, in terms of minimizing rates of reintubation and regulating physiological stability.

研究の動機と目的

• 抜管準備完了までの時間を予測し、鎮静/換気レジメンを個別化する意思決定支援ツールを開発する。
• 歴史的なICUデータから最適な離脱アクションを学習するためにオフポリシー強化学習を適用する。
• ポリシー評価器としてFitted Q-iterationをExtra-Treesとニューラルネットワーク（NFQ）と比較する。
• 学習されたポリシーが臨床実践と一致し、患者アウトカムを改善するか評価する。
• 学習された離脱決定を推進する主要な生理学的特徴を特定する。

提案手法

• 32次元の状態表現を用いてICU離脱をマルコフ決定過程としてモデル化する。
• 換気のオン/オフと4段階の鎮静を組み合わせた8アクション空間を10分間隔で定義する。
• 安定したバイタルと抜管成功を奨励し、長期の換気や不良事象を罰する報酬関数を構築する。
• 不規則でまばらなバイタルをマルチアウトプットガウス過程で補完して、10分間隔の状態を得る。
• FQIを用いたオフポリシーのポリシー訓練を、Extra-Treesとニューラルネットワーク（NFQ）で行う。
• MIMIC-IIIからの1,800件のトレーニングと664件のテスト入院でポリシーを評価し、総遷移は数百万件に上る。

実験結果

リサーチクエスチョン

• RQ1 オフポリシー強化学習は歴史的なICUデータから有効な離脱および鎮静ポリシーを学習できるか？
• RQ2 換気と鎮静のポリシー学習において、Extra-Treesを用いたFQIとNFQはどのように比較されるか？
• RQ3 32次元状態のどの特徴が学習されたポリシー決定に最も影響を与えるか？
• RQ4 RL由来の推奨は再挿管を減らし、病院の実践と比較して累積報酬を改善するか？

主な発見

• FQITとNFQで学習したポリシーは換気ポリシーの正確さがほぼ同等で、病院ポリシーとの一致は約85%である。
• NFQは鎮静ポリシーの正確性を58%と低く、FQITより高くはない（具体値は記載なし）。NFQを用いた鎮静ポリシーはロバスト性が低い。
• 病院ポリシーとより一致するポリシーは、再挿管が少なく、累積報酬が高い傾向にある。
• ポリシーの予測に最も影響する特徴として、動脈O2圧、動脈pH、FiO2、O2流量、およびPEEPが挙げられ、抜管基準と一致する。
• 体重と年齢（人口統計学的特徴）は学習された離脱ポリシーに著しく影響し、体重ベースの投薬と回復速度を反映している。
• Q関数推定の収束は両方の回帰器で約60イテレーション後に起こり、NFQはExtra-Treesより実行時間が速い。