[論文レビュー] POPCORN: Partially Observed Prediction COnstrained ReiNforcement Learning

Joseph Futoma, Michael C. Hughes+1 more|arXiv (Cornell University)|Jan 13, 2020

Machine Learning in Healthcare参考文献 36被引用数 7

ひとこと要約

POPCORNは、バッチでオフポリシーな医療環境において、部分的に観測可能なマルコフ決定過程（POMDP）のための新しい最適化目的関数を導入した。この目的関数は、生成モデルの品質とポリシー性能を同時に向上させる。最大尤度学習を価値に基づく正則化項で制約することで、モデルの誤り指定下でも、2段階法や価値のみのベースラインに比べ、より優れたポリシーと臨床的に解釈可能なモデルを達成する。

ABSTRACT

Many medical decision-making tasks can be framed as partially observed Markov decision processes (POMDPs). However, prevailing two-stage approaches that first learn a POMDP and then solve it often fail because the model that best fits the data may not be well suited for planning. We introduce a new optimization objective that (a) produces both high-performing policies and high-quality generative models, even when some observations are irrelevant for planning, and (b) does so in batch off-policy settings that are typical in healthcare, when only retrospective data is available. We demonstrate our approach on synthetic examples and a challenging medical decision-making problem.

研究の動機と目的

• 2段階RLアプローチの限界を解消するため、モデル適合と計画が分離されている医療分野において、モデルが誤り指定されている場合に最適でないポリシーが得られることを是正する。
• 臨床データに一般的なバッチでオフポリシーな設定において、高尤度の生成モデリングと高パフォーマンスのポリシーの両立を図る意思決定に配慮した学習目的関数を開発する。
• 離散的かつ構造化されたPOMDPを用いて、観察可能な発生分布と遷移分布を介して、医療意思決定におけるサンプル効率とモデルの解釈可能性を向上させる。
• 正確な軌道生成と計画への有効性を両立させることで、転移学習と臨床的妥当性の両立を可能にする。
• 価値のみまたは尤度のみの学習が失敗するメカニズムを克服し、モデルがデータにうまく適合しないか、効果的な意思決定をサポートできない問題を解消する。

提案手法

• POPCORNは、観測の最大尤度と、POMDPモデルが誘導するポリシーの価値に基づく正則化項を組み合わせたハイブリッド目的関数を最適化する。
• 隠れマルコフモデル（HMM）を用い、観測されない生理的状態を離散的隠れ状態で表現し、観測を状態と行動に条件づけたガウス混合分布としてモデル化する。
• ハイパーパrameter λ は、尤度（モデル適合）とポリシー価値（計画性能）のトレードオフを制御する。λ は両者の目的をバランスさせるように調整される。
• オンライン相互作用を一切行わず、後向きに臨床データを用いたバッチでオフポリシーな設定で最適化が実行される。
• 学習された発生分布の可視化により、モデルの検査が可能となり、臨床的妥当性の評価が可能になる。
• 学習後、価値反復法を用いてポリシーの計画が実行され、新しい報酬関数を用いた再解決によって転送性がテストされる。

実験結果

リサーチクエスチョン

• RQ1 1つの最適化目的関数が、部分的に観測可能なバッチ強化学習設定において、生成モデルの品質と後続ポリシーのパフォーマンスを同時に向上させられるか？
• RQ2 モデルの誤り指定下において、POPCORNは2段階法や価値のみのベースラインと比較して、ポリシー価値、モデル尤度、予測精度の観点でどのように差をつけるか？
• RQ3 POPCORNのモデルは、臨床的妥当性の観点からどの程度検査可能であり、学習された発生分布はベースラインと比較してどう異なるか？
• RQ4 報酬関数が変更された場合に、POPCORNは他の手法と比較して、より優れた転送性を示すか？
• RQ5 実際のICU意思決定タスクにおいて、POPCORNはオンライン相互作用を一切使用しないにもかかわらず、行動ポリシーを上回るパフォーマンスを示せるか？

主な発見

• POPCORNは、模擬的なICU低血圧管理タスクにおいて、観察された臨床医の行動ポリシーと同等またはわずかに優れたポリシー価値を達成した。
• 2段階ベースラインは、尤度が最も高かったにもかかわらず、モデルが関係のない情報を捉えており、ポリシー価値が著しく低かった。
• 価値のみのベースラインは、MAP や尿量などの重要な臨床変数について、POPCORN や2段階法と比較して平均絶対誤差が数個のオーダーも悪く、極めて不正確な予測を生成した。
• POPCORNの発生分布は、2段階ベースラインと比較して、より広がっており、隠れ状態ごとに明確に分離されており、ポリシーの曖昧さが低減された。
• 価値のみのベースラインは、多様な状態を学習したが、その代償としてデータ適合性が著しく悪く、ポリシー品質とモデル精度のトレードオフが顕著に現れた。
• POPCORNのモデルは、報酬関数が変更された新しいタスクに対しても、適切に転送され、元の価値推定が強くても、価値のみのベースラインを上回る転送性能を示した。