[論文レビュー] Does the Markov Decision Process Fit the Data: Testing for the Markov Property in Sequential Decision Making

Chengchun Shi, Runzhe Wan+3 more|arXiv (Cornell University)|Feb 5, 2020

Reinforcement Learning in Robotics参考文献 37被引用数 9

ひとこと要約

本稿は、順序付き意思決定におけるマルコフ性を検証するための新しい前向き・後向き学習手順を提案する。この手法により、パrametricな形を仮定せずに高次マルコフ意思決定過程（HMDPs）および部分的に観測可能なMDP（POMDPs）の検出が可能となる。この検定は、二重にロバストな推定方程式と機械学習を用いて、高次元設定下でも有効な推論を保証する。$n$（トレーリング数）または$T$（時間枠）が発散する際の漸近的妥当性を有する。

ABSTRACT

The Markov assumption (MA) is fundamental to the empirical validity of reinforcement learning. In this paper, we propose a novel Forward-Backward Learning procedure to test MA in sequential decision making. The proposed test does not assume any parametric form on the joint distribution of the observed data and plays an important role for identifying the optimal policy in high-order Markov decision processes and partially observable MDPs. We apply our test to both synthetic datasets and a real data example from mobile health studies to illustrate its usefulness.

研究の動機と目的

• 強化学習（RL）アルゴリズムの根幹をなす、順序付き意思決定におけるマルコフ仮定（MA）の有効な統計的検定を開発すること。
• 短い記憶を持つ場合にMAが成り立たない高次MDP（HMDPs）において、正しい遡及期間$\kappa_0$を特定する課題に対処すること。
• 複数の時刻点を連結してもMAが成り立たない場合に、部分的に観測可能なMDP（POMDPs）であることを検出できることを示し、POMDP特有のRL手法の適用を可能にすること。
• パrametricモデリングを避けて、現代の機械学習と二重ロバスト性を活用することで、高次元状態空間における検定の妥当性を保証すること。
• 実世界のデータセット（モバイルヘルス、フレーミングハム心臓研究など）に適用可能な、スケーラブルで漸近的に妥当な検定を提供すること。

提案手法

• 前向きおよび後向きの予測誤差を用いて検定統計量を構築する前向き・後向き学習手順を提案する。
• 機械学習モデルのバイアスを低減し、モデル誤り指定下でも一貫した推定を保証するため、二重にロバストな推定方程式を採用する。
• スペクトル分解と経験的特徴関数を用いて、現在の状態を条件とした過去の状態の条件付き独立性に基づく検定統計量を定義する。
• 逐次的検定手順を適用：$k=1$から開始し、$k$個の時刻点にわたる連結状態におけるMAを検定し、MAが棄却されない最小の$k$を探索する。
• 高次元中心極限定理とブロック対角構造の共分散行列を用いて、帰無仮説下での検定統計量の漸近的分布を導出する。
• 共分散行列推定における推定誤差を$O((nT)^{-c^{**}})$のレートで抑え、高次元設定下での妥当性を保証する。

実験結果

リサーチクエスチョン

• RQ1 観測データの連合分布にパrametricな形を仮定せずに、順序付き意思決定におけるマルコフ仮定を検証できるか？
• RQ2 マルコフ性が小さな$\kappa_0$では成り立たない高次MDP（HMDPs）において、最適な遡及期間$\kappa_0$をどのように特定できるか？
• RQ3 本手法の検定は、標準的なMDPではなく部分的に観測可能なMDP（POMDP）としてより適切にモデル化できる状況を検出できるか？
• RQ4 従来の手法（例：局所多項式回帰）が次元の呪いに苦しむ高次元設定下でも、本検定は適切なサイズとパワーを維持するか？
• RQ5 トレーリング数$n$または時間枠$T$が発散する際、本検定は漸近的に妥当であるか？

主な発見

• 合成データに適用した際、提案手法は最適な状態表現を正しく同定し、RLアルゴリズムと組み合わせた場合、ほぼすべてのケースで最高の性能を達成した。
• 逐次的前向き検定手順により、MAが成り立つ最小の$k$が正しく特定され、固定または誤った遡及期間を用いた場合よりも優れたポリシー推定が達成された。
• 実際のモバイルヘルスデータでは、複数の時刻点を連結してもMAの違反が検出されたため、POMDPモデリングの必要性が示された。
• 高次元設定下でも検定のサイズとパワーが適切に維持され、次元の呪いに苦しむ既存手法（例：Chen & Hong, 2012）を上回る性能を示した。
• 検定統計量の漸近的分布は、取り扱いやすい共分散構造を持つ正規分布に従い、弱い正則性条件のもとで有効な推論が可能である。
• 実験的結果から、本手法を用いて選別された状態を用いたポリシーは、標準的なMDP仮定に基づくものよりも一貫して優れた性能を示した。特にマルコフでない環境下では顕著な優位性が得られた。