[論文レビュー] Model Selection for Offline Reinforcement Learning: Practical Considerations for Healthcare Settings

Shengpu Tang, Jenna Wiens|PubMed|Jul 23, 2021

Sepsis Diagnosis and Treatment参考文献 59被引用数 23

ひとこと要約

本論文は、医療分野におけるオフライン強化学習のための実用的なモデル選択フレームワークを提案する。このフレームワークでは、検証の代理としてオフポリシー評価（OPE）を用いる。4つのOPE手法—Fitted Q Evaluation（FQE）、Weighted Importance Sampling（WIS）、Action Marginal（AM）、Double Reinforcement Learning（DRL）—を評価し、FQEが最も正確なポリシー順位付けを提供することを発見したが、計算コストが非常に高い。精度と効率のバランスを図るため、著者らは2段階のOPEパイプラインを導入する。まず、計算コストが低いが精度はやや低いWISを用いてポリシーをフィルタリングし、次にFQEをプルーニングされたサブセットに対して適用して精度を高める。このアプローチにより、不要な計算を削減しながらも、高い品質のポリシー選択を維持できる。

ABSTRACT

Reinforcement learning (RL) can be used to learn treatment policies and aid decision making in healthcare. However, given the need for generalization over complex state/action spaces, the incorporation of function approximators (e.g., deep neural networks) requires model selection to reduce overfitting and improve policy performance at deployment. Yet a standard validation pipeline for model selection requires running a learned policy in the actual environment, which is often infeasible in a healthcare setting. In this work, we investigate a model selection pipeline for offline RL that relies on off-policy evaluation (OPE) as a proxy for validation performance. We present an in-depth analysis of popular OPE methods, highlighting the additional hyperparameters and computational requirements (fitting/inference of auxiliary models) when used to rank a set of candidate policies. We compare the utility of different OPE methods as part of the model selection pipeline in the context of learning to treat patients with sepsis. Among all the OPE methods we considered, fitted Q evaluation (FQE) consistently leads to the best validation ranking, but at a high computational cost. To balance this trade-off between accuracy of ranking and computational efficiency, we propose a simple two-stage approach to accelerate model selection by avoiding potentially unnecessary computation. Our work serves as a practical guide for offline RL model selection and can help RL practitioners select policies using real-world datasets. To facilitate reproducibility and future extensions, the code accompanying this paper is available online.

研究の動機と目的

• オフライン強化学習における標準的なトレーニング・バリデーションフレームワークの欠如、特に現実のポリシー展開が非現実的である医療分野の課題に対処する。
• モデル選択におけるオフポリシー評価（OPE）手法が、検証性能の代理としてどの程度有効であるかを評価する。
• ハイパーパrameterの感度、補助モデルの要件、計算コストの観点から、OPE手法間の実用的トレードオフを同定する。
• FQEとWISを用いた2段階のOPEパイプラインを提案し、低品質なポリシーに対する無駄な計算を削減することで、モデル選択の高速化を図る。
• 実世界の観察データを用いた高パフォーマンスなポリシーの選択を支援する、再現可能で実用的なガイドを医療分野のRL研究者に提供する。

提案手法

• 著者らは、候補ポリシーの順位付けを目的として、シミュレートされた敗血症治療タスク上で4つのOPE手法—FQE、WIS、AM、DRL—を実装し、比較した。
• 表形式と関数近似の両方の設定下で、早期停止やニューラルネットワークアーキテクチャ選択を含むシナリオにおいて、モデル選択のパフォーマンスを評価した。
• 2段階のモデル選択パイプラインを提案する：まず、計算コストが低いWISを用いて性能が低いポリシーをフィルタリングし、次にFQEをプルーニングされたサブセットに対して適用して高精度な順位付けを行う。
• 補助モデルのトレーニングとOPE推定の両方の目的で、1つのバリデーションデータセットを用いる。独立性仮定の違反が生じる可能性があるものの、データの使用を最大化する。
• 再現性を確保し、医療分野におけるRL研究の今後の拡張を支援するため、コードを公開した。
• OPE手法のロバストネスを評価するために、制御された行動ポリシーと変動するデータ条件を備えたシミュレートされた敗血症環境を用いた実証的評価を実施した。

実験結果

リサーチクエスチョン

• RQ1 医療分野におけるオフラインRLのための候補ポリシー順位付けにおいて、FQE、WIS、AM、DRLといった異なるOPE手法の有効性はどの程度か？
• RQ2 ハイパーパrameterの感度、補助モデルのトレーニング、計算コストという観点から、OPE手法の実用的トレードオフは何か？
• RQ3 2段階のOPEパイプラインは、ポリシー選択の正確性を損なわずに計算効率を向上させることができるか？
• RQ4 シミュレートされた臨床意思決定環境における真のポリシー性能と、OPE手法による順位付けの相関関係はどの程度か？
• RQ5 アーキテクチャ選択や早期停止といった異なるモデル選択シナリオにおいて、OPE手法のパフォーマンスと信頼性はどの程度変動するか？

主な発見

• Fitted Q Evaluation（FQE）は、すべてのモデル選択シナリオにおいて、真のポリシー性能との相関が最も高い正確なポリシー順位付けを一貫して得た。WIS、AM、DRLを上回った。
• WISは計算コストが最も低く、最も効率的なOPE手法であったが、分散が大きく、特にデータが少ない、または行動ポリシーが劣っている状況では最も信頼性の低い順位付けを示した。
• WISによる初期フィルタリングとFQEによるプルーニング済みサブセットへの適用を組み合わせた2段階パイプラインにより、全体の計算時間は最大70％削減されたが、高い順位付けの正確性は維持された。
• OPE手法は補助モデルのハイパーパrameterの慎重なチューニングを要し、モデリングの選択によってパフォーマンスが顕著に変化した。これにより、体系的なハイパーパramータ探索の必要性が強調された。
• 離散的アクションや欠損データのないシナリオといったシミュレーションの現実性の制限があるものの、本フレームワークは多様な設定において高パフォーマンスなポリシーの同定に一貫して有効であった。
• 本研究は、医療分野におけるRL研究において、モデル選択手順の報告が再現性を高め、公平なアルゴリズム比較を可能にする上で極めて重要であることを強調している。