[論文レビュー] Instrumental Variable Value Iteration for Causal Offline Reinforcement Learning

Luofeng Liao, Zuyue Fu+4 more|arXiv (Cornell University)|Feb 19, 2021

Reinforcement Learning in Robotics参考文献 57被引用数 8

ひとこと要約

本稿では、観察不能な交絡要因が存在する状況下で因果的遷移ダイナミクスを同定するために道具変数（IV）を活用する、証明可能に効率的なオフライン強化学習アルゴリズムであるIVVIを提案する。加法的観察不能交絡要因の仮定の下で条件付きモーメント制約（CMR）を定式化し、その制約を原双対最適化により解くことで、IVVIはサンプル複雑度 $O(\mu_{\text{IV}}^{-4}\mu_B^{-2.5}H^4d_x\epsilon^{-2})$ で $\epsilon$-最適方策を達成する。これは、IVを用いたオフライン強化学習における最初のこのような結果である。

ABSTRACT

In offline reinforcement learning (RL) an optimal policy is learned solely from a priori collected observational data. However, in observational data, actions are often confounded by unobserved variables. Instrumental variables (IVs), in the context of RL, are the variables whose influence on the state variables is all mediated by the action. When a valid instrument is present, we can recover the confounded transition dynamics through observational data. We study a confounded Markov decision process where the transition dynamics admit an additive nonlinear functional form. Using IVs, we derive a conditional moment restriction through which we can identify transition dynamics based on observational data. We propose a provably efficient IV-aided Value Iteration (IVVI) algorithm based on a primal-dual reformulation of the conditional moment restriction. To our knowledge, this is the first provably efficient algorithm for instrument-aided offline RL.

研究の動機と目的

• 観察データから行動が観察不能な要因によって交絡されている場合に、最適方策を学習する課題に対処すること。
• 有効な道具変数を用いて、観察不能な交絡要因が存在する状況下で因果的遷移ダイナミクスを同定する手法を開発すること。
• 交絡要因が存在するオフライン強化学習に対して、道具変数を用いた証明可能に効率的なアルゴリズムを提案すること。
• IVを用いたオフライン強化学習アルゴリズムにおける最初のサンプル複雑度の上限を確立すること。
• 実験が高コストまたは倫理的に不適切な分野、例えば医療分野において、安全でデータ駆動型の政策学習を可能にすること。

提案手法

• 観察不能な交絡要因が存在する状況下での順序的意思決定をモデル化するため、道具変数を用いた交絡付きマルコフ意思決定過程（CMDP-IV）を定式化する。
• 有効な道具変数を用いて、観察データからの真の遷移ダイナミクスの点同定を可能にする条件付きモーメント制約（CMR）を導出する。
• CMRを原双対最適化問題に再定式化することで、推定プロセスにおける計算的・統計的効率性を同時に確保する。
• 確率的勾配ステップを用いて、価値関数と双対変数を反復的に更新するIV補助価値反復（IVVI）アルゴリズムを提案する。
• 加法的観察不能交絡要因の仮定の下で、IVに基づくモーメント条件を用いて遷移ダイナミクスを推定するモデルベースアプローチを採用する。
• 双対特徴空間を用いて、IVと関数近似の間の適合性を保証し、$\mu_B$ で表される双対特徴共分散行列の最小固有値によって定量的に表現する。

実験結果

リサーチクエスチョン

• RQ1 観察データと有効な道具変数のみを用いて、交絡付きMDPにおける真の遷移ダイナミクスを同定することは可能か？
• RQ2 観察不能な交絡要因を緩和するために道具変数を活用する、証明可能に効率的なオフライン強化学習アルゴリズムを設計することは可能か？
• RQ3 観察不能な交絡要因が存在する状況下で、IVを用いて $\epsilon$-最適方策を回復するために必要なサンプル複雑度はどの程度か？
• RQ4 道具変数の強さ（$\mu_{\text{IV}}$）と双対特徴空間の適合性（$\mu_B$）は、学習効率にどのように影響するか？
• RQ5 原双対最適化フレームワークは、IVに基づく同定から生じる条件付きモーメント制約を、オフライン強化学習で効果的に解くのに適しているか？

主な発見

• IVVIアルゴリズムは、サンプル複雑度 $O(\mu_{\text{IV}}^{-4}\mu_B^{-2.5}H^4d_x\epsilon^{-2})$ で $\epsilon$-最適方策を達成する。これは、IVを用いたオフライン強化学習における最初のこのような上限である。
• 加法的観察不能交絡要因の仮定の下で導出された条件付きモーメント制約（CMR）は、観察データからの真の遷移ダイナミクスの点同定を可能にする。
• CMRの原双対再定式化により、推定プロセスにおける統計的・計算的効率性が両立される。
• 滑らかさと目的関数の強い凸性といった弱い正則性条件の下で、アルゴリズムの収束が保証される。
• サンプル複雑度は、道具変数の強さ（$\mu_{\text{IV}}$）と双対特徴空間の適合性（$\mu_B$）に有利に依存しており、弱い道具変数や特徴の不適合に対しても頑健であることが示唆される。
• 推定誤差と価値関数更新の収束速度に関する理論的保証によって、実験的妥当性が裏付けられる。