[論文レビュー] Reinforcement Learning with Heterogeneous Data: Estimation and Inference

Elynn Chen, Rui Song+1 more|arXiv (Cornell University)|Jan 31, 2022

Software Reliability and Analysis Research被引用数 4

ひとこと要約

本稿は、異質的集団における逐次的意思決定をモデル化するための新規フレームワーク、K-非定型マルコフ決定過程（K-Hetero MDP）を提案する。Auto-Clustered Policy Evaluation（ACPE）およびAuto-Clustered Policy Iteration（ACPI）を導入し、サブ集団を自動で同定し、各サブ集団の固有のQ関数と最適方策を推定する。合成データおよび実世界のMIMIC-IIIICUデータにおいて、推定精度が向上し、妥当な信頼区間が得られることを示した。

ABSTRACT

Reinforcement Learning (RL) has the promise of providing data-driven support for decision-making in a wide range of problems in healthcare, education, business, and other domains. Classical RL methods focus on the mean of the total return and, thus, may provide misleading results in the setting of the heterogeneous populations that commonly underlie large-scale datasets. We introduce the K-Heterogeneous Markov Decision Process (K-Hetero MDP) to address sequential decision problems with population heterogeneity. We propose the Auto-Clustered Policy Evaluation (ACPE) for estimating the value of a given policy, and the Auto-Clustered Policy Iteration (ACPI) for estimating the optimal policy in a given policy class. Our auto-clustered algorithms can automatically detect and identify homogeneous sub-populations, while estimating the Q function and the optimal policy for each sub-population. We establish convergence rates and construct confidence intervals for the estimators obtained by the ACPE and ACPI. We present simulations to support our theoretical findings, and we conduct an empirical study on the standard MIMIC-III dataset. The latter analysis shows evidence of value heterogeneity and confirms the advantages of our new method.

研究の動機と目的

• 古典的な平均値ベースの強化学習が、集約データによってサブ集団の差が隠れてしまう異質的集団においてその限界を克服すること。
• 単一のデータセット内に存在する均質的サブ集団を自動で同定し、それぞれのサブ集団に特化した方策および価値関数を推定する手法を開発すること。
• 柔軟な双方向漸近枠組み下で、収束速度および妥当な信頼区間を含む統計的保証を提供すること。
• 実世界の医療データにおいて、標準的なRLアプローチに比べて異質性を捉える能力および予測精度の向上を実証すること。
• 実用的導入を促進するため、ACPIアルゴリズムにおけるパラメータチューニングの理論的指針を提供すること。

提案手法

• 複数のサブ集団がそれぞれ異なる状態-行動-報酬ダイナミクスを持つ逐次的意思決定を形式的にモデル化するためのK-非定型MDP（K-Hetero MDP）を提案する。
• トレースをクラスタリングし、罰則付き時系列差分学習を用いてサブ集団固有のQ関数を推定する2段階アルゴリズムであるAuto-Clustered Policy Evaluation（ACPE）を導入する。
• ACPEを拡張し、各クラスタ内で方策推定を繰り返し改善することで、各サブ集団の最適方策に収束する、Auto-Clustered Policy Iteration（ACPI）を開発する。
• トレース数（N）またはトレース長（T）のいずれかが無限大に発散する双方向漸近枠組みを用い、有効な推論を可能にする。
• 時系列差分誤差の無限大ノルム解析を用いて、推定パラメータおよび価値関数の収束速度を導出し、信頼区間を構築する。
• 不規則にサンプリングされたICUデータを処理するため、多次元最近傍補完法および時間制限付きサンプルアンドホールド補間法をMIMIC-IIIデータセットに適用する。

実験結果

リサーチクエスチョン

• RQ1 強化学習フレームワークは、大規模な逐次的意思決定データにおいてサブ集団の異質性を検出・モデル化できるか？
• RQ2 提案されたACPIアルゴリズムは、標準的な平均値ベースのRLに比べ、推定精度および方策パフォーマンスを向上させるか？
• RQ3 NまたはTのいずれかが無限大に発散する柔軟な漸近的枠組み下でも、推定された価値関数およびパラメータの信頼区間は妥当か？
• RQ4 MIMIC-III敗血症コhortのような、既知の異質性を有する実世界の臨床データにおいて、この手法はどのように性能を発揮するか？
• RQ5 ACPIにおけるクラスタリングおよび罰則パラメータの最適チューニング戦略は何か？また、推定安定性にどのように影響するか？

主な発見

• ACPEおよびACPIアルゴリズムは、MIMIC-III敗血症コホートにおいて2つの明確なサブ集団を検出できた。これは、クラスタリング後の残差分布が二峰性から単峰性に変化したことで裏付けられた。
• ACPIは予測誤差を低減し、残差がゼロを中心にベル型分布を示すことで、標準的な線形Q学習に比べてモデル適合度が優れていることが示された。
• 理論的解析により、収束速度が保証され、NまたはTが無限大に発散する双方向漸近枠組み下でも妥当な信頼区間が構築可能であることが確認された。
• MIMIC-IIIにおける実証的結果から、価値の異質性の証拠が得られ、異なる患者サブグループに対して固有の最適治療方策が浮き彫りになった。
• 合成データおよび実世界の設定において、標準的なRLアプローチに比べて本手法が優れた性能を示した。特にサブ集団サイズが小さい場合に顕著であった。
• ACPIにおけるパラメータチューニングのための理論的指針が提供され、医療分野のようなハイリスク分野における実用的利便性が向上した。