[論文レビュー] Optimizing Sequential Medical Treatments with Auto-Encoding Heuristic Search in POMDPs

Luchen Li, Matthieu Komorowski+1 more|arXiv (Cornell University)|May 17, 2019

Machine Learning in Healthcare参考文献 58被引用数 9

ひとこと要約

本稿は、部分的に観測可能なマルコフ意思決定過程（POMDP）を用いて逐次的敗血症治療を最適化するための自己符号化ヒューリスティックサーチ（AEHS）フレームワークを提案する。変分推論と再帰的信念表現、価値バックアップにヒューリスティックガイドドサフィックスツリーを組み合わせることで、サンプル効率が向上し、不完全なデータでさえも、MDPベースのモデルを上回る性能を示す。

ABSTRACT

Health-related data is noisy and stochastic in implying the true physiological states of patients, limiting information contained in single-moment observations for sequential clinical decision making. We model patient-clinician interactions as partially observable Markov decision processes (POMDPs) and optimize sequential treatment based on belief states inferred from history sequence. To facilitate inference, we build a variational generative model and boost state representation with a recurrent neural network (RNN), incorporating an auxiliary loss from sequence auto-encoding. Meanwhile, we optimize a continuous policy of drug levels with an actor-critic method where policy gradients are obtained from a stablized off-policy estimate of advantage function, with the value of belief state backed up by parallel best-first suffix trees. We exploit our methodology in optimizing dosages of vasopressor and intravenous fluid for sepsis patients using a retrospective intensive care dataset and evaluate the learned policy with off-policy policy evaluation (OPPE). The results demonstrate that modelling as POMDPs yields better performance than MDPs, and that incorporating heuristic search improves sample efficiency.

研究の動機と目的

• ノイズが多く、不完全で、時系列的にずれた臨床的観察が生じる状況における逐次的治療最適化の課題に対処すること。
• 現実の臨床的不確実性と情報非対称性をよりよく反映するため、患者・医師の相互作用をMDPではなくPOMDPとしてモデル化すること。
• ヒューリスティックサーチと信念状態推論を用いて、医療意思決定における強化学習のデータ効率を向上させること。
• スパarsな報酬と医師の行動経路から得られるオフポリシーデータにおいて、方策勾配推定のバイアスと分散を低減すること。
• 後向きICUデータから最適な血管収縮薬および液体投与方針を学習する安定的かつスケーラブルな手法を開発すること。

提案手法

• 逐次的モンテカルロによる潜在状態推論を可能にするために、補助的エビデンス下界（ELBO）損失を用いた変分自己符号化器を用い、患者観察の生成モデルを学習する。
• 履歴シーケンスを信念状態にエンコードするための再帰的ニューラルネットワーク（RNN）を採用し、メモリ効率の良いPOMDP計画を実現する。
• 並列で最良優先のサフィックスツリーにおけるツリー展開を、アドバンスドポリシー$\hat{\pi}$がガイドすることで、価値関数の近似を改善する。
• ツリーで推定された値をターゲットとしてベルマン更新を用いて信念状態値をバックプロパゲートし、価値関数の精度を向上させる。
• クリッピングされた重要度サンプリングとバイアス補正付き勾配更新を用いて、オフポリシーのアドバンテージ推定を実装したアクター・クリティック手法を採用する。
• 粒子フィルタを用いた自己符号化SMCにより、欠損データ下でも頑健な信念推論が可能な潜在状態の事後分布を維持する。

実験結果

リサーチクエスチョン

• RQ1 ノイズが多く不完全な臨床的観察下で、患者・医師の相互作用をPOMDPとしてモデル化することは、MDPよりも優れた治療方針をもたらすか？
• RQ2 最良優先のサフィックスツリーを用いたヒューリスティックサーチは、データが乏しい医療分野の強化学習において、サンプル効率を向上させるか？
• RQ3 自己符号化を用いた生成モデルを組み込むことで、信念状態推論と方策性能はどの程度向上するか？
• RQ4 報酬のスパarsityが顕著な状況下で、オフポリシー評価において本手法は医師の行動方針と比較してどの程度優れているか？
• RQ5 ツリー展開におけるアドバンスドポリシー$\hat{\pi}$の使用は、直接的な方策ロールアウトと比較して、より速く安定した方策学習を実現するか？

主な発見

• すべての観察セットにおいてPOMDPとしてモデル化する方がMDPを上回り、AEHSは20名の患者変数において医師ベースラインを上回るが、AE+A2Cは35名でのみ同様の結果を達成する。
• AEHSはAE+A2Cに比べて、特に観察の不完全性が高い状況下で、より優れた性能とより速い収束を示しており、データ効率の向上が裏付けられる。
• AEHSの加重重要度サンプリング（WIS）報酬の95％信頼区間下限は7.030であり、医師方針の実測報酬4.867を上回り、優れたオフポリシー性能を示している。
• サフィックスツリーにおけるノード展開数$N_s$を増やすと、最良優先選択のため、効果の逓減が顕著に現れ、効率的な探索が可能であることが示された。
• アドバンスドポリシー$\hat{\pi}$は、ターゲット方策$\pi$よりも安定して更新され、より良い価値ターゲットを提供することで$\pi$の学習を加速する。
• ヒューリスティックガイドドツリー展開により、価値関数近似の精度が向上し、収束が速くなり、方策最適化が改善された。