[論文レビュー] Future-Dependent Value-Based Off-Policy Evaluation in POMDPs

Masatoshi Uehara, Haruka Kiyohara+6 more|arXiv (Cornell University)|Jul 26, 2022

Smart Grid Energy Management被引用数 6

ひとこと要約

本稿は、潜在状態の代理として将来の観測と履歴の両方を用いる未来依存価値関数を用いて、部分的に観測可能なMDP（POMDP）におけるモデルフリーなオフポリシー評価（OPE）手法を提案する。新たなオフポリシー・ベルマン方程式を、履歴の代理変数を道具変数として用いる条件付きモーメント方程式の形で導出し、ミニマックス学習手法を用いることで、ベルマン完全性のもとでPAC学習可能なOPEを実現し、長時間スケールのPOMDPにおける「時間枠の呪い」を克服する。

ABSTRACT

We study off-policy evaluation (OPE) for partially observable MDPs (POMDPs) with general function approximation. Existing methods such as sequential importance sampling estimators and fitted-Q evaluation suffer from the curse of horizon in POMDPs. To circumvent this problem, we develop a novel model-free OPE method by introducing future-dependent value functions that take future proxies as inputs. Future-dependent value functions play similar roles as classical value functions in fully-observable MDPs. We derive a new Bellman equation for future-dependent value functions as conditional moment equations that use history proxies as instrumental variables. We further propose a minimax learning method to learn future-dependent value functions using the new Bellman equation. We obtain the PAC result, which implies our OPE estimator is consistent as long as futures and histories contain sufficient information about latent states, and the Bellman completeness. Finally, we extend our methods to learning of dynamics and establish the connection between our approach and the well-known spectral learning methods in POMDPs.

研究の動機と目的

• 部分的に観測可能なMDP（POMDP）におけるオフポリシー評価（OPE）の時間枠の呪いを解消することを目的とし、逐次的重要度サンプリング（SIS）やFQEといった従来手法が指数関数的に増大する誤差に起因する問題を回避する。
• 完全な履歴や観測不能な潜在状態に依存しないモデルフリーなOPE手法を開発し、長時間スケールで部分的に観測可能な環境への実用的応用を可能にすることを目的とする。
• 潜在状態に関する十分な情報を含む将来と履歴が存在するという仮定の下、ベルマン完全性のもとでPACバウンドを確立する理論的保証を提供することを目的とする。
• 線形モデルや深層ニューラルネットワークを含む一般関数近似器と互換性を持つ未来依存価値関数を導入することで、古典的なLSTDおよびフィットテッド-Q評価をPOMDPに拡張することを目的とする。

提案手法

• 観測不能な潜在状態の代理として、過去の観測（H）と将来の観測（F）の両方に依存する未来依存価値関数を導入し、完全に観測可能なMDPにおける標準的な価値関数に代わる。
• POMDPにおける新たなオフポリシー・ベルマン方程式を導出し、履歴の代理変数（H）を道具変数として用いる条件付きモーメント方程式の形で定式化する。
• 関数近似器のクラス上でサドルポイント問題を解くことで、未来依存価値関数を推定するミニマックス学習フレームワークを提案する。これにより、線形モデル、RKHS、深層ニューラルネットワークなどと互換性が得られる。
• 2段階の推定手順を採用する：まず、道具変数回帰により価値ブリッジ関数を学習する。次に、推定された価値関数に新たなベルマン方程式を強制するミニマックス最適化を適用する。
• 特に価値ブリッジ関数の導出において、推定の一貫性を保証するため、推定プロセスでムーア・ペンローズ逆行列を用いる。
• 線形および非線形関数近似の両設定に本手法を適用し、提案フレームワークのもとで古典的なLSTDをPOMDPに一般化する。

実験結果

リサーチクエスチョン

• RQ1 完全な履歴への直接依存を避けることで、POMDPにおけるオフポリシー評価が長時間スケールにおいてもロバストに保たれるか。
• RQ2 将来の観測が潜在状態の有効な代理として機能し得るか。これにより、POMDPにおけるベルマン方程式を満たす価値関数を構築できるか。
• RQ3 道具変数を用いた条件付きモーメント方程式に基づくミニマックス学習手法が、POMDPにおけるPAC学習可能なOPE推定器を提供できるか。
• RQ4 提案手法が、長時間スケールのPOMDPにおいて、SIS、SDR、FQEベースのOPE推定器よりも推定誤差が小さく、サンプル効率に優れているか。

主な発見

• 提案されたOPE推定器はベルマン完全性のもとでPAC学習可能な性能を達成し、推定誤差が未来依存価値関数の近似誤差の関数として有界であることが保証される。
• SISやFQEベースの推定器とは異なり、推定誤差が有効な時間枠に指数関数的に増大しないようにすることで、時間枠の呪いを克服する。
• ミニマックス学習手順により、部分観測下でも、導出されたオフポリシー・ベルマン方程式を満たす未来依存価値関数が正しく学習可能であることが確認された。
• 理論的分析により、道具変数回帰により導出された価値ブリッジ関数が、提案フレームワークのもとで一貫性を示すことが示された。これにより、正当な方策評価が可能である。
• 数値実験では、SIS、SDR、FQEといったベースライン手法に比べ、特にバイアスと分散の観点で優れた性能を示した。
• 線形関数近似を用いる場合、本手法は古典的なLSTDをPOMDPに原理的かつ一貫性を持って拡張するものであり、表形式の手法を部分観測環境に一般化する。