[論文レビュー] The Actor Search Tree Critic (ASTC) for Off-Policy POMDP Learning in Medical Decision Making

Luchen Li, Matthieu Komorowski+1 more|arXiv (Cornell University)|May 29, 2018

Machine Learning in Healthcare参考文献 29被引用数 20

ひとこと要約

本稿では、医療意思決定における部分的に観測可能なマルコフ意思決定過程（POMDP）のためのオフポリシー・アクタ・クリティック強化学習フレームワーク、アクタ検索木クリティック（ASTC）を提案する。この手法は、学習された上界および下界値を有するヒューリスティック検索木を用い、無限の信念状態を的確に探索する。一方、アクターにおける連続的ガウス方策と関数近似によるクリティックにより、実際のICUデータ上でエンドツーエンドの学習が可能となり、臨床医の実践に比べて著しく優れた血管収縮薬および体液投与方策を実現し、患者の予後を改善した。

ABSTRACT

Off-policy reinforcement learning enables near-optimal policy from suboptimal experience, thereby provisions opportunity for artificial intelligence applications in healthcare. Previous works have mainly framed patient-clinician interactions as Markov decision processes, while true physiological states are not necessarily fully observable from clinical data. We capture this situation with partially observable Markov decision process, in which an agent optimises its actions in a belief represented as a distribution of patient states inferred from individual history trajectories. A Gaussian mixture model is fitted for the observed data. Moreover, we take into account the fact that nuance in pharmaceutical dosage could presumably result in significantly different effect by modelling a continuous policy through a Gaussian approximator directly in the policy space, i.e. the actor. To address the challenge of infinite number of possible belief states which renders exact value iteration intractable, we evaluate and plan for only every encountered belief, through heuristic search tree by tightly maintaining lower and upper bounds of the true value of belief. We further resort to function approximations to update value bounds estimation, i.e. the critic, so that the tree search can be improved through more compact bounds at the fringe nodes that will be back-propagated to the root. Both actor and critic parameters are learned via gradient-based approaches. Our proposed policy trained from real intensive care unit data is capable of dictating dosing on vasopressors and intravenous fluids for sepsis patients that lead to the best patient outcomes.

研究の動機と目的

• 真の生理的状態が隠れており、不完全でノイズの多い観測から推定される部分的に観測可能な臨床状態の課題に対処すること。
• 実際の電子的健康記録データを用いて、連続的行動空間（例：薬物投与量）におけるスケーラブルでオンラインの強化学習手法を考案すること。
• 正確なPOMDP解法の非実行可能性を克服するため、関数近似とバックプロパゲーションにより更新される学習された価値境界を有するヒューリスティック検索木を用いること。
• ASTCを用いて学習された方策が、臨床医の意思決定よりも優れた患者予後に寄与することを実証的に検証すること、特に治療行動が方策の提案に近い場合に顕著である。
• 臨床的に解釈可能な代替不能な意思決定支援システムを提供し、動的治療計画において臨床医の判断を補完するが置き換えないこと。

提案手法

• 本手法は、患者治療を信念状態（未観測の生理的状態の事後分布）を表すPOMDPとしてモデル化し、縦断的臨床データから推定される。
• 信念分布は、観測履歴軌道に基づきガウス・ミックスチャネル・モデルを用いて表現される。
• アクター・ネットワークは、血管収縮薬および静脈内体液投与の投与量決定を直接行動空間にパrameter化された連続的ガウス方策としてモデル化する。
• クリティックは、各信念状態における真の価値関数の上界および下界を推定する関数近似器を用い、木の探索中によりタイトな価値推定を可能にする。
• ヒューリスティック検索木は、実際に遭遇した信念状態のみを展開し、上界推定に基づいて行動を選択し、根ノードまで価値境界をバックプロパゲートして反復的改善を図る。
• アクターおよびクリティックのパラメータは勾配ベース最適化により更新され、行動方策のカバレッジを必要とせず、後向きEHRデータからのオフポリシー学習が可能になる。

実験結果

リサーチクエスチョン

• RQ1 オフポリシー・アクタ・クリティックフレームワークは、連続的行動空間を有する部分的に観測可能な医療環境において、近似的最適な治療方策を効果的に学習できるか？
• RQ2 POMDPにおける無限の信念状態の真の価値を近似するために、検索木内で価値関数境界を効率的に学習・伝搬する方法は何か？
• RQ3 臨床医の意思決定を学習済み方策に合わせることで、敗血症管理における患者予後はどの程度改善されるか？
• RQ4 検索木フレームワーク内での価値境界の関数近似は、実世界のICUデータにおけるサンプル効率および収束性を向上させられるか？
• RQ5 生存率および治療の乖離度を指標にした場合、提案された方策の性能は臨床医の実践と比べてどの程度優れているか？

主な発見

• 臨床医がASTCの投与量提案に従うほどに、生存率や退院率などの高い報酬が得られ、特に血管収縮薬および静脈内体液投与において顕著に改善された。
• ASTC方策からの逸脱が少ない患者は高い生存率を示し、方策提案からの平均絶対偏差が最小であったグループで最も良好な予後が得られた。
• 生存者においてはASTC方策は臨床医の意思決定とよく一致したが、非生存者では方策との乖離が顕著に大きくなり、特に体液管理において顕著であった。これは、方策との整合性と死亡率の間に関連性がある可能性を示唆している。
• 検索木内での学習された上界および下界価値境界の使用により、無限の信念空間であっても効果的な価値推定と方策改善が可能となり、静的または非適応的境界を上回った。
• ガウス方策ネットワークによる連続的行動空間の取り扱いにより、臨床的に意味のある方法で血管収縮薬および体液投与量の微細な制御が可能になった。
• 実証的評価では、ASTC方策が未観測のICU患者に一般化できることを示し、ブートストラップ信頼区間により生存群全体で一貫した性能が確認された。