[論文レビュー] A Spectral Approach to Off-Policy Evaluation for POMDPs

Yash Nair, Nan Jiang|arXiv (Cornell University)|Sep 22, 2021

Optimization and Search Problems参考文献 15被引用数 4

ひとこと要約

本稿では、隠れ状態の多段階観測プロキシを活用することで、先行研究の厳密な可逆性仮定を緩和する、POMDPにおける非政策評価のためのスペクトル的手法を提案する。過去および未来の履歴を拡張し、固有値分解を用いることで、推定の精度と一般化性能が向上し、同時に、従来の十分性仮定に代わる、より弱いランク、正規性、一意性条件に基づく新たな重要度サンプリングアルゴリズムを可能にする。

ABSTRACT

We consider off-policy evaluation (OPE) in Partially Observable Markov Decision Processes, where the evaluation policy depends only on observable variables but the behavior policy depends on latent states (Tennenholtz et al. (2020a)). Prior work on this problem uses a causal identification strategy based on one-step observable proxies of the hidden state, which relies on the invertibility of certain one-step moment matrices. In this work, we relax this requirement by using spectral methods and extending one-step proxies both into the past and future. We empirically compare our OPE methods to existing ones and demonstrate their improved prediction accuracy and greater generality. Lastly, we derive a separate Importance Sampling (IS) algorithm which relies on rank, distinctness, and positivity conditions, and not on the strict sufficiency conditions of observable trajectories with respect to the reward and hidden-state structure required by Tennenholtz et al. (2020a).

研究の動機と目的

• 1ステップのモーメント行列の可逆性に依存する従来の非政策評価（OPE）手法の限界に対処すること。
• 観測空間が隠れ状態空間を上回るような、より豊かな観測空間への一般化を可能にするために、一般化性能を向上させること。
• 希少または確率がゼロの事象による問題を回避するため、条件付き確率ではなく、同時確率を推定する手法を開発すること。
• 強い可逆性仮定に依存しないように、観測プロキシを過去および未来の軌道へと拡張すること。
• 従来の十分性仮定を回避し、ランク、正規性、一意性条件にのみ依存する新たな重要度サンプリングアルゴリズムを導出すること。

提案手法

• PSR や HMM にインspiredされたスペクトル分解技術を用い、観測可能な軌道から潜在状態分布を同定する。
• 交差要因を取り巻く履歴および将来のウィンドウを拡張することで、多段階の観測プロキシを構築し、ランク条件を改善する。
• 行列の可逆性を要件としない、モーメント行列（例：$P^r_{i,z_i}$, $Q^r_{i,z_i,z_{i+1}}$）の固有値分解を用いて、隠れ状態分布を同定する。
• 行列 $P^b(R_{0:H}|U_{0:H})$ のフルランク性と、観測可能な同時分布のムーア・ペンローズ逆行列を用いて、$P^b(U_{0:H}| au^o_H)$ を特定する。
• 同定された重み $W(v, au^o)$ を用いて、$P^b(r_i|u_i)$, $P^b(u_{0:H}| au^o)$, および $ ilde{ ho}_b(u_{0:H})$ から成る新たな重要度サンプリング推定器を定式化する。
• 明確な順序付けの仮定（仮定10）により、隠れ状態の整合性のある順序付けを確保し、確率推定の正しく一致するアラインメントを可能にする。

実験結果

リサーチクエスチョン

• RQ1 1ステップのモーメント行列の可逆性要件を、多段階の観測プロキシを用いることで緩和できるか？
• RQ2 観測プロキシを過去および未来の軌道へと拡張することで、非政策価値推定の同定可能性と精度が向上するか？
• RQ3 十分性仮定を回避し、ランク、正規性、一意性条件にのみ依存する新たな重要度サンプリングアルゴリズムを導出できるか？
• RQ4 提案手法のスペクトル的OPE推定器の性能は、予測精度およびロバストネスの観点で、既存手法と比較してどの程度優れているか？
• RQ5 本手法は、観測空間が隠れ状態空間を上回るPOMDPにどの程度一般化可能か？

主な発見

• 提案されたスペクトル的OPE手法は、高次元の観測を持つ設定において、従来手法に比べてより高い予測精度を達成する。
• 多段階の履歴および将来をプロキシとして用いることで、1ステップのモーメント行列の可逆性要件を緩和し、現実のPOMDPへの適用可能性を高める。
• 条件付き確率ではなく同時確率を推定することで、希少または確率がゼロの事象による問題を回避する。
• 固有値分解に基づく同定手順により、従来の研究よりも弱い仮定のもとで、$P^b(r_i|u_i)$ および $P^b(u_{0:H}| au^o_H)$ の一貫性ある推定が可能になる。
• 新たな重要度サンプリングアルゴリズムは、ランク、正規性、一意性条件のもとで同定可能であり、Tennenholtzら（2020a）が要請する厳密な十分性仮定を回避する。
• 実験的検証により、拡張されたプロキシアプローチが、複数の環境においてより安定的かつ正確なOPE推定をもたらすことが確認された。