[論文レビュー] Offline Reinforcement Learning with Instrumental Variables in Confounded Markov Decision Processes

Zuyue Fu, Zhengling Qi+4 more|arXiv (Cornell University)|Sep 18, 2022

Age of Information Optimization被引用数 6

ひとこと要約

本稿は、観測されない交絡要因と限られたデータカバレッジに対処するため、道具用変数（IV）を用いたオフライン強化学習手法を提案する。IVに基づく価値関数の同定とマージナライズド重要度サンプリング、および懸念の原理を組み合わせることで、最小限の仮定のもとで、i.i.d. または定常的でないデータであっても、$O(\log(NT)(NT)^{-1/2})$ の有限標本サブオプティマルティー境界を達成する。

ABSTRACT

We study the offline reinforcement learning (RL) in the face of unmeasured confounders. Due to the lack of online interaction with the environment, offline RL is facing the following two significant challenges: (i) the agent may be confounded by the unobserved state variables; (ii) the offline data collected a prior does not provide sufficient coverage for the environment. To tackle the above challenges, we study the policy learning in the confounded MDPs with the aid of instrumental variables. Specifically, we first establish value function (VF)-based and marginalized importance sampling (MIS)-based identification results for the expected total reward in the confounded MDPs. Then by leveraging pessimism and our identification results, we propose various policy learning methods with the finite-sample suboptimality guarantee of finding the optimal in-class policy under minimal data coverage and modeling assumptions. Lastly, our extensive theoretical investigations and one numerical study motivated by the kidney transplantation demonstrate the promising performance of the proposed methods.

研究の動機と目的

• オフライン強化学習における測定されない交絡要因の課題に取り組み、標準的な交絡なし仮定を無効にする。
• 特に状態空間や行動空間が大きい場合に厳しい制約を課すデータカバレッジ仮定を克服する。
• 観測データからの因果効果を同定するために、道具用変数を用いて交絡のあるMDPにおける政策学習を可能にする。
• 最小限のモデル化およびカバレッジ仮定のもとで、有限標本サブオプティマルティー保証を持つ理論的根拠に基づく手法を開発する。
• i.i.d. または定常的でないデータを前提とせず、最適政策への収束を達成することで、現実世界の設定への適用範囲を広げる。

提案手法

• 無限時間ホライズンの交絡のあるMDPに対して、道具用変数を用いた価値関数（VF）ベースの同定を確立し、新たなベルマン方程式を導出する。
• マージナライズド重要度サンプリング（MIS）に基づく同定を提案し、IVを用いて期待総報酬 $J(\pi)$ を直接推定する。
• IVと懸念の原理を組み合わせた推定方程式を用いて、状態価値関数のミニマックス推定量を定式化する。
• 推定量の損失関数に基づいて、推定量のための信頼集合を構築する。この際、推定量に一様バンドを必要としない。
• 信頼集合内での期待総報酬の最も保守的な推定値を最大化することで、最良の政策を選択するための懸念の原理を用いる。
• VFベースとMISベースの同定を組み合わせることで、二重にロバストな推定量を提案し、モデルの誤指定に対する耐性を高める。

実験結果

リサーチクエスチョン

• RQ1 有限時間の観測データのみを用いて、道具用変数を用いて交絡のあるMDPにおける価値関数と期待総報酬を同定できるか？
• RQ2 弱いデータカバレッジのもとで、IVベースの同定と懸念の原理を統合することで、有限標本サブオプティマルティー保証を確保できるか？
• RQ3 データがi.i.d. または定常的でない場合に、提案手法の理論的収束特性はどのようになるか？
• RQ4 VFベースとMISベースの同定を組み合わせることで、単独で用いる場合よりもロバストで正確な政策学習手法が得られるか？
• RQ5 測定されない交絡要因と限られたデータカバレッジが存在する状況でも、提案手法は標準的なオフラインRL手法を上回る性能を示せるか？

主な発見

• 提案手法は、最適なクラス内政策を探索するにあたり、$O(\log(NT)(NT)^{-1/2})$ の有限標本サブオプティマルティー境界を達成する。この境界は、$N$ または $T$ が増加するにつれてゼロに収束する。
• 本手法はデータがi.i.d. または定常的分布から生成されたものでないことを前提としており、幾何的エルゴディック列に対する新しい集中不等式に依存する。
• 数値実験の結果、懸念付きIVベース手法（pess_IV）は、非懸念および非IV手法を含むすべてのベースラインを大きく上回り、行動方策を上回るより良い方策を学習している。
• pess_IV手法は、no_pess_IVに比べてより高いかつより安定した期待総報酬を達成しており、懸念とIVの組み合わせの利点を示している。
• IVを用いない手法（pess_no_IV および no_pess_no_IV）は、交絡要因が存在する状況では行動方策を上回ることができず、交絡要因が存在する場合にはIVの必要性を強調している。
• 二重にロバストな推定量は、VFベースとMISベースの同定の長所を組み合わせており、モデルの誤指定下でも、政策学習における耐性と性能を向上させている。