[論文レビュー] Confounding-Robust Policy Evaluation in Infinite-Horizon Reinforcement Learning

Nathan Kallus, Angela Zhou|arXiv (Cornell University)|Feb 11, 2020

Reinforcement Learning in Robotics参考文献 40被引用数 12

ひとこと要約

本稿は、観察不能な交絡要因が存在する無限時間ホライズン強化学習におけるオフポリシー評価に対して、交絡要因に強いアプローチを提案する。感度モデルを用いて、定常状態訪問比の最適化により、ポリシー価値の鋭い境界を計算し、計算可能性を高めるために非凸射影勾配降下法を用い、データ量の増加に伴い真の境界に収束することを証明する。

ABSTRACT

Off-policy evaluation of sequential decision policies from observational data is necessary in applications of batch reinforcement learning such as education and healthcare. In such settings, however, unobserved variables confound observed actions, rendering exact evaluation of new policies impossible, i.e., unidentifiable. We develop a robust approach that estimates sharp bounds on the (unidentifiable) value of a given policy in an infinite-horizon problem given data from another policy with unobserved confounding, subject to a sensitivity model. We consider stationary or baseline unobserved confounding and compute bounds by optimizing over the set of all stationary state-occupancy ratios that agree with a new partially identified estimating equation and the sensitivity model. We prove convergence to the sharp bounds as we collect more confounded data. Although checking set membership is a linear program, the support function is given by a difficult nonconvex optimization problem. We develop approximations based on nonconvex projected gradient descent and demonstrate the resulting bounds empirically.

研究の動機と目的

• 観察データに観察不能な交絡要因が存在する強化学習のオフポリシー評価における課題に対処すること。
• 観察不能な交絡要因による部分的同定性の下で、ポリシー価値の最も鋭い境界を計算する手法を開発すること。
• 交絡要因のあるデータから感度に配慮した信頼性のある価値推定を提供することで、ポリシー学習の信頼性と安全性を高めること。
• 実験が高コストまたは倫理的に不適切な分野（例：医療、教育）における実用的応用を可能にすること。
• 観察不能な交絡要因を伴う順序的意思決定における、交絡なしのオフポリシー評価手法と部分的同定のギャップを埋めること。

提案手法

• 無限時間MDPにおける観察不能な交絡要因を感度モデルで組み込んだ部分的同定推定方程式を定式化する。
• 推定方程式と感度モデルとに整合するすべての定常状態訪問比の最適化により、ポリシー価値の境界を導出する。
• 境界計算に必要な困難なサポート関数最適化を近似するために、非凸射影勾配降下法を用いる。
• 表形式の場合に計算負荷を軽減する再パラメータ化テクニックを採用するが、関数近似設定では課題が残る。
• 線形関数近似におけるモデル誤指定に対処するための妥当性緩和を導入するが、これにより境界の鋭さが低下する可能性がある。
• 観察不能な交絡要因を有する3x3グリッドワールド環境を用いて、実験的妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 観察データが観察不能な状態によって交絡されている場合、ターゲットポリシーの価値に対する鋭い境界を計算できるか？
• RQ2 観察不能な交絡要因に対して頑健でありながら、計算的に扱いやすい境界を保証する方法は何か？
• RQ3 境界計算に必要な非凸サポート関数を効果的に近似する最適化手法は何か？
• RQ4 関数近似設定におけるモデル誤指定下でも、この手法はスケーリングや性能にどのように影響を受けるか？
• RQ5 データサイズの増加に伴い、境界はどの程度情報的で安定性を保っているか？

主な発見

• 提案手法は、交絡データ量の増加に伴い、ポリシー価値の鋭い境界に収束することが保証され、漸近的妥当性を有する。
• 3x3グリッドワールドにおける実験結果から、感度パラメータの範囲（Γ値25個、1.10〜5.47）において境界が情報的であることが示された。
• 非凸射影勾配降下法は、単調性と解キャッシュを組み合わせることで、安定的かつ効果的な近似戦略を提供する。
• グローバル最適化（Gurobiを用いて）により、射影勾配法の信頼性が確認され、実用的には最小限の性能差にとどまる。
• 中程度の問題サイズにおいて、標準的なハードウェア（例：16GB RAM搭載のMacBook Pro）でも計算が可能である。
• SDP緩和アプローチは理論的には妥当であるが、スケーリングが非現実的（O(|S|⁹|A|⁹/²)）であり、実世界の応用には不適切である。