[論文レビュー] More Efficient Off-Policy Evaluation through Regularized Targeted Learning

Aurélien Bibaut, Ivana Malenica+2 more|arXiv (Cornell University)|Dec 13, 2019

Distributed Sensor Networks and Detection Algorithms被引用数 17

ひとこと要約

本稿では、強化学習におけるオフポリシー評価のための正則化付きターゲット最大尤度推定法であるRLTMLEを提案する。この手法は、二重にロバストな推定と交差検証および正則化による分散低減を組み合わせるものであり、多様な環境やモデルの不適合度において優れた性能を発揮し、既存の手法を一貫して上回る。収束速度は$O_P(1/√n)$を維持し、漸近正規性を満たす。

ABSTRACT

We study the problem of off-policy evaluation (OPE) in Reinforcement Learning (RL), where the aim is to estimate the performance of a new policy given historical data that may have been generated by a different policy, or policies. In particular, we introduce a novel doubly-robust estimator for the OPE problem in RL, based on the Targeted Maximum Likelihood Estimation principle from the statistical causal inference literature. We also introduce several variance reduction techniques that lead to impressive performance gains in off-policy evaluation. We show empirically that our estimator uniformly wins over existing off-policy evaluation methods across multiple RL environments and various levels of model misspecification. Finally, we further the existing theoretical analysis of estimators for the RL off-policy estimation problem by showing their $O_P(1/\sqrt{n})$ rate of convergence and characterizing their asymptotic distribution.

研究の動機と目的

• オフポリシー評価（OPE）の効率性とロバスト性を、統計的因果推論手法を用いて向上させること。
• 強化学習と因果推論分野のターゲット最大尤度推定（TMLE）の間のギャップを埋めること。
• 推定の性能向上に寄与する分散低減技術——特に交差検証と正則化——を考案すること。
• MDPにおける方策価値の効率的影響関数（EIF）を導出することにより、理論的最適性を確立すること。
• 提案されたRLTMLE推定法が、複数の環境およびモデルの不適合度において、既存のOPE手法を一貫して上回ることを実証すること。

提案手法

• 縦断的ターゲット最大尤度推定法（LTMLE）をMDPにおけるオフポリシー評価問題に適応する。
• 方策価値の効率的影響関数（EIF）を導出し、半パラメトリック効率限界に達する推定法の構築を可能にする。
• 交差検証に基づくサンプル分割を用いて、Q関数推定値を全データセット上で平均化し、推定リスクを低減する。
• 正則化技術——特にMAGICアンサンブル法——を導入し、LTMLE推定法の安定性と分散低減を向上させる。
• モデルベース（直接法）と重要度サンプリングの要素を二重にロバストなフレームワークに統合し、バイアス低減を実現する。
• 複数の正則化推定法を統合した正則化・交差検証付きLTMLE推定法（RLTMLE）を採用し、性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ターゲット最大尤度推定法を強化学習におけるオフポリシー評価に効果的に適応することで、推定の効率性とロバスト性を向上させることができるか？
• RQ2 マーカフ決定過程における方策価値の効率的影響関数（EIF）は何か？ そして、これを最適推定法の構築にどう活用できるか？
• RQ3 交差検証と正則化技術を活用することで、オフポリシー評価における分散低減と有限標本性能の向上を達成できるか？
• RQ4 提案されたRLTMLE推定法は、半パラメトリック理論に従って予想される$O_P(1/\sqrt{n})$の収束速度と漸近正規性を達成するか？
• RQ5 RLTMLE推定法は、多様な強化学習環境およびモデルの不適合度において、一貫して既存のOPE手法を上回るか？

主な発見

• 提案されたRLTMLE推定法は、ModelWin、ModelFail、Gridworldを含む複数の強化学習環境において、すべての比較的OPE手法を一貫して上回る。
• RLTMLE推定法は$O_P(1/\sqrt{n})$の収束速度と漸近正規性を達成しており、理論的最適性が裏付けられる。
• 交差検証に基づくQ関数の平均化は、標準的なサンプル分割と比較して推定リスクを定数倍低減する。
• 正則化技術——特にMAGICアンサンブル——の導入により、モデルの不適合度下でも推定の安定性と性能が顕著に向上する。
• 本稿は、オフポリシー評価問題における方策価値の効率的影響関数（EIF）を初めて明示的に導出しており、半パラメトリックに効率的な推定法の構築を可能にする。
• 実験結果から、RLTMLEはモデルが不適合であっても、行動方策と評価方策が著しく異なる状況でも、常に低いバイアスと分散を維持することが示された。