[論文レビュー] An Empirical Study of Representation Learning for Reinforcement Learning in Healthcare

Taylor W. Killian, Haoran Zhang+3 more|arXiv (Cornell University)|Nov 23, 2020

Machine Learning in Healthcare参考文献 45被引用数 12

ひとこと要約

この論文は、MIMIC-IIIデータセットの逐次的患者データを用いて、医療分野における強化学習の表現学習を調査する。7つの符号化アーキテクチャを評価し、オффラインでバッチRL設定において、治療方針の学習を改善する患者状態表現を学習する。その結果、特にNeural CDEからの逐次的構造化表現が、臨床的重症度スコアと相関を保ちながら、より効果的な治療方針の学習を可能にすることが分かった。

ABSTRACT

Reinforcement Learning (RL) has recently been applied to sequential estimation and prediction problems identifying and developing hypothetical treatment strategies for septic patients, with a particular focus on offline learning with observational data. In practice, successful RL relies on informative latent states derived from sequential observations to develop optimal treatment strategies. To date, how best to construct such states in a healthcare setting is an open question. In this paper, we perform an empirical study of several information encoding architectures using data from septic patients in the MIMIC-III dataset to form representations of a patient state. We evaluate the impact of representation dimension, correlations with established acuity scores, and the treatment policies derived from them. We find that sequentially formed state representations facilitate effective policy learning in batch settings, validating a more thoughtful approach to representation learning that remains faithful to the sequential and partial nature of healthcare data.

研究の動機と目的

• オフライン強化学習における敗血症治療の政策学習に与える、さまざまな表現学習アーキテクチャの影響を調査すること。
• 表現次元の影響が予測精度および政策パフォーマンスに与える影響を評価すること。
• 人口統計的特徴および臨床的重症度スコア（SOFA、SAPS II、OASIS）を組み込むことで、表現品質および下流の政策学習が向上するかどうかを評価すること。
• 逐次的に学習された表現が、静的または非逐次的符号化と比較して、患者状態ダイナミクスをよりよく捉えられるかどうかを検証すること。
• バッチデータを用いた実世界の医療RL設定において、状態表現の厳密な実証的評価を提供すること。

提案手法

• 7つの情報符号化アーキテクチャ（AE、AIS、CDE、DDM、DST、ODE-RNN、RNN-AE）を訓練し、逐次的生理的および人口統計的特徴から低次元の患者状態表現を学習する。
• 表現品質を最適化するために、将来の生理的観測値（SO）を過去の観測値から再構成する補助タスクとして自己符号化を用いる。
• マルチタスク損失目的関数を用いて、既存の臨床的重症度スコア（SOFA、SAPS II、OASIS）と相関するように表現を正則化する。
• 符号化された状態表現上でdBCQ（離散化されたバッチ制約付きQ学習）を用いて治療方針を訓練し、各手法ごとにハイパーパrameterを最適化する。
• 保留されたテストセット上で重み付き重要度サンプリング（WIS）を用いて方針パフォーマンスを評価し、さまざまな表現手法間でのリターンを比較する。
• PCAを用いて表現を可視化し、SOFAスコアおよび結果（生存対死亡）で軌跡を色分けし、初期観測値と最終観測値を結ぶ線を引いて患者の進化を追跡する。

実験結果

リサーチクエスチョン

• RQ1 表現次元が、将来の生理的観測値の再構成精度および下流のRL方針パフォーマンスに与える影響は何か？
• RQ2 表現学習プロセスに人口統計的特徴を組み込むことで、患者状態表現の品質がどの程度向上するか？
• RQ3 学習された表現が、既存の臨床的重症度スコア（SOFA、SAPS II、OASIS）とどの程度相関しているか？
• RQ4 どの表現学習アーキテクチャが、敗血症治療のバッチRL設定において最も効果的な方針学習を可能にするか？
• RQ5 逐次的構造化表現が、非逐次的または自己符号化ベースラインと比較して、患者の軌道ダイナミクスをよりよく捉えられるか？

主な発見

• ある閾値を超えて潜在次元を増加させると、自己符号化タスクにおける予測精度が低下した。これは、高容量の表現が常に情報量が多いわけではないことを示唆している。
• すべてのアーキテクチャにおいて、表現学習段階で人口統計的特徴を組み込むことで、将来の生理的観測値の予測性能が一貫して向上した。
• Neural CDE（Neural Controlled Differential Equations）を用いて学習された表現が、WISベースの評価において、他のアーキテクチャを上回る効果的な治療方針学習を可能にした。
• 臨床的重症度スコアを正則化のターゲットとして組み込むことで、学習された表現とSOFA、SAPS II、OASISスコアとの相関が顕著に向上した。
• PCA可視化では、Neural CDEおよびDDMから得られた表現が、生存対死亡の分離性が高く、原始データや単純なモデルと比較してSOFAスコアに沿った明確なクラスタリングを示した。
• 逐次的アーキテクチャ（例：CDE、ODE-RNN）から学習された表現は、表現空間において分離性および軌道の連続性が向上しており、非逐次的手法と比較して、患者の健康状態の変化をより忠実に反映していた。