[論文レビュー] Doubly Robust Off-policy Value Evaluation for Reinforcement Learning

Nan Jiang, Lihong Li|arXiv (Cornell University)|Nov 11, 2015

Advanced Causal Inference Techniques参考文献 27被引用数 81

ひとこと要約

本稿では、強化学習におけるオフポリシー価値評価のための二重にロバスト（DR）推定器を提案する。この手法は回帰と重要度サンプリングを組み合わせ、標準的な重要度サンプリングよりもバイアスがなく、分散が小さい推定を達成する。特定の状況ではCramér-Rao下界に一致し、ベンチマークタスクにおいて既存手法を著しく上回り、より信頼性が高く、積極的な安全なポリシー改善を可能にする。

ABSTRACT

We study the problem of off-policy value evaluation in reinforcement learning (RL), where one aims to estimate the value of a new policy based on data collected by a different policy. This problem is often a critical step when applying RL in real-world problems. Despite its importance, existing general methods either have uncontrolled bias or suffer high variance. In this work, we extend the doubly robust estimator for bandits to sequential decision-making problems, which gets the best of both worlds: it is guaranteed to be unbiased and can have a much lower variance than the popular importance sampling estimators. We demonstrate the estimator's accuracy in several benchmark problems, and illustrate its use as a subroutine in safe policy improvement. We also provide theoretical results on the hardness of the problem, and show that our estimator can match the lower bound in certain scenarios.

研究の動機と目的

• 行動方策がデータを収集するが、そのデータからターゲット方策の性能を推定しなければならない強化学習におけるオフポリシー価値評価の課題に対処すること。
• 既存手法の限界を克服すること：重要度サンプリングの高分散と、回帰ベース手法の定量できないバイアス。
• 不偏かつ分散が小さい推定器を開発し、オフポリシー評価において両者の長所を併せ持つこと。
• 正確な価値推定がポリシー選択に不可欠である安全なポリシー改善における推定器の有効性を示すこと。
• 理論的保証を確立し、特定の条件下でDR推定器の分散がCramér-Rao下界に一致することを示すこと。

提案手法

• 学習済みQ関数（回帰ベースの推定）と重要度サンプリング重みを組み合わせることで、行動方策データからターゲット方策の価値を推定する二重にロバストな推定器を提案する。
• 文脈的バンディット問題における二重にロバスト推定器を、有限ホライズンMDPにおける逐次的意思決定問題へと拡張する。
• 重要度サンプリング推定器と回帰ベース推定器の重み付き組み合わせを用い、重みはQ関数推定の品質に応じて決定される。
• 制御変数技術を用いて分散を低減し、理論的根拠としてQ関数が誤って指定されていても推定器が不偏のまま保たれることを示す。
• 安全なポリシー反復のサブルーチンとして推定器を適用し、信頼区間を用いてロバストなポリシー選択を保証する。
• 理論的分析により、特定の状況下でDR推定器の分散がCramér-Rao下界に一致することを示し、最適性を示している。

実験結果

リサーチクエスチョン

• RQ1 文脈的バンディットから有限ホライズンMDPにおける逐次的意思決定問題へと、二重にロバスト推定器を成功裏に拡張できるか？
• RQ2 提案されたDR推定器は、不偏性を保ちつつ、重要度サンプリングよりも分散を低くできるか？
• RQ3 特定のオフポリシー評価状況において、DR推定器が分散の統計的下界に一致するか？
• RQ4 重要度サンプリングに信頼区間を適用した場合と比較して、DR推定器は安全なポリシー改善においてどのように性能を発揮するか？
• RQ5 Q関数推定におけるモデルの誤指定に対しても、DR推定器はロバストか？

主な発見

• すべてのベンチマーク環境（Mountain CarやGrid Worldを含む）において、標準的な重要度サンプリングと比較して、二重にロバスト推定器は分散を顕著に低減している。
• ターゲット方策が行動方策から大きく離れている状況では、DRが重要度サンプリングを上回り、後者は高分散に苦しむ。
• ターゲット方策と行動方策が近い状況では、DRはバイアスがある可能性のある回帰ベース手法と同等またはそれ以上の性能を示す。
• 特定の設定において、DR推定器の分散はCramér-Rao下界に一致し、統計的効率性を示している。
• 安全なポリシー改善において、DRは安全を保ちながらも、重要度サンプリングに信頼区間を適用した場合よりもより積極的なポリシー選択を可能にする。
• 実験的結果から、DRは不偏性を維持し、データサイズが増加するにつれてISよりも高い真の価値改善を達成していることが示された。