[論文レビュー] Off-policy Evaluation in Infinite-Horizon Reinforcement Learning with Latent Confounders

Andrew Bennett, Nathan Kallus+2 more|arXiv (Cornell University)|Jul 27, 2020

Reinforcement Learning in Robotics参考文献 43被引用数 8

ひとこと要約

本稿では、観察されない交絡要因が存在する無限時間割り当て強化学習における、新しい非政策評価手法を提案する。状態と行動を代理変数として用い、方策価値の同定を実現する。定常分布比推定と最適バランス化を組み合わせることで、報酬関数のモデル化を回避しつつ、理論的保証と強い実験的性能を達成する。

ABSTRACT

Off-policy evaluation (OPE) in reinforcement learning is an important problem in settings where experimentation is limited, such as education and healthcare. But, in these very same settings, observed actions are often confounded by unobserved variables making OPE even more difficult. We study an OPE problem in an infinite-horizon, ergodic Markov decision process with unobserved confounders, where states and actions can act as proxies for the unobserved confounders. We show how, given only a latent variable model for states and actions, policy value can be identified from off-policy data. Our method involves two stages. In the first, we show how to use proxies to estimate stationary distribution ratios, extending recent work on breaking the curse of horizon to the confounded setting. In the second, we show optimal balancing can be combined with such learned ratios to obtain policy value while avoiding direct modeling of reward functions. We establish theoretical guarantees of consistency, and benchmark our method empirically.

研究の動機と目的

• 観察されない交絡要因が存在する無限時間割り当てマーカフ過程における非政策評価を解決すること。
• 交絡要因が観察されないが、状態と行動が交絡要因の代理として機能する場合に、オフポリシー・データから方策価値を同定すること。
• 報酬関数の直接モデル化を回避しつつ、独立同分布（i.i.d.）の交絡要因仮定のもとで統計的一致性を保証する手法を開発すること。
• 交絡要因のモデル誤りとポストリアー分布のノイズにさらされた状況において、因果的および非因果的ベースラインと比較して実験的に手法の有効性を検証すること。

提案手法

• 観察されない交絡要因が存在する状況において、状態の定常分布比を、代理変数（状態と行動）を用いて推定する。
• 条件付きモーメントマッチング問題を解くことで、無限時間非政策評価技術を交絡要因が存在する設定に拡張する。
• 学習された定常比を用いて、最適バランス化推定器を適用し、方策価値推定を実行する。
• 状態、行動、交絡要因の同時分布を表す潜在変数モデルを用い、方策価値の同定を可能にする。
• 交絡要因のポストリアー分布推定におけるモデル誤りに強い性質を評価するため、事後分布へのノイズ注入を実施する。
• 二重にロバストな推定と代理変数に基づく比推定を組み合わせることで、安定性と精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 状態と行動が交絡要因の代理として機能する場合、観察されない交絡要因が存在する無限時間マーカフ過程において、方策価値を同定できるか？
• RQ2 観察されない交絡要因が存在する状況で、代理変数を用いて定常分布比をどのように推定できるか？
• RQ3 独立同分布（i.i.d.）の交絡要因仮定および近似i.i.d.設定下での、提案手法の理論的一致性はいかほどか？
• RQ4 モデル誤りと交絡要因のポストリアー分布へのノイズが加えられた状況において、因果的および非因果的ベースラインと比較して、手法の実験的性能はどの程度か？
• RQ5 最適バランス化を代理変数に基づく比推定と効果的に組み合わせることで、報酬関数の直接モデル化を回避できるか？

主な発見

• 独立同分布（i.i.d.）の交絡要因仮定のもとで、方策価値推定が一貫的に行えることが確認された。
• 近似i.i.d.の交絡要因設定において、手法の理論的誤差バウンドが確立された。
• C-ModelWinおよびConfounded GridWorld環境において、因果的および非因果的ベースラインと比較して、実験的に優れた性能を示した。
• ポストリアー分布へのノイズ注入実験を通じて、モデル誤りおよび交絡要因のポストリアー分布へのノイズに強く、ロバストであることが示された。
• 二重にロバストな推定器は、ポストリアー分布の不確実性下でも安定性が向上し、ノイズの多い条件下で直接推定法を上回った。
• 状態行動の代理変数の使用により、明示的な交絡要因モデル化を必要とせずに、方策価値の同定が可能になった。