[論文レビュー] Deeply-Debiased Off-Policy Interval Estimation

Chengchun Shi, Runzhe Wan+2 more|arXiv (Cornell University)|May 10, 2021

Reinforcement Learning in Robotics参考文献 55被引用数 6

ひとこと要約

本稿では、強化学習におけるオフポリシー評価のための、頑健で効率的かつ柔軟な信頼区間を構築する、深くデバイアスされたオフポリシー区間推定手法を提案する。条件付き密度比を用いてQ関数と価値推定器を反復的にデバイアスすることで、三重の頑健性（Q関数、マージナライズド密度比、または条件付き密度比のいずれか1つが一貫していることのみを要件とする）を達成するとともに、弱い実用的条件下でも半パラメトリック効率性と有効な被覆率を維持する。

ABSTRACT

Off-policy evaluation learns a target policy's value with a historical dataset generated by a different behavior policy. In addition to a point estimate, many applications would benefit significantly from having a confidence interval (CI) that quantifies the uncertainty of the point estimate. In this paper, we propose a novel deeply-debiasing procedure to construct an efficient, robust, and flexible CI on a target policy's value. Our method is justified by theoretical results and numerical experiments. A Python implementation of the proposed procedure is available at https://github.com/RunzheStat/D2OPE.

研究の動機と目的

• データの依存性や推定器の収束速度に関する弱い、実用的な仮定の下でも、有効で頑健かつ効率的な信頼区間（CI）をオフポリシー評価に構築すること。
• 独立同一分布（i.i.d.）データや強い収束速度仮定に依存する従来手法の限界を解消し、しばしば無効または過剰に広いCIを生じさせる問題を是正すること。
• Q関数とマージナライズド密度比推定器の両方が誤指定であっても、有効な推論が可能な不確実性の定量化を向上させること。
• 高階のインフルエンス関数に基づく新規なデバイアス手順を通じて、頑健性を維持しつつ半パラメトリック効率性を達成すること。
• 限られた時系列依存データを伴う現実世界の応用に適した、柔軟で実用的なオフポリシー区間推定フレームワークを提供すること。

提案手法

• 条件付き密度比推定器を用いてQ関数と価値推定器のバイアスを反復的に低減する、深くデバイアスする手続きを提案する。
• 高階のインフルエンス関数を統合した二重頑健推定フレームワークを用い、三重の頑健性を達成する。
• Q関数、マージナライズド密度比、条件付き密度比の推定にニューラルネットワークを用い、計算効率を高めるために共有のトレーニングコンポonentsを導入する。
• 最終的な価値推定器を計算するためにU統計量に基づく不完全推定手順を適用し、並列化とスケーラビリティを実現する。
• 二段階のトレーニングプロセスを採用：まずFQEを用いてQ関数を学習し、次にデバイアス目的関数を最適化しながら密度比推定器を同時に学習する。
• デバイアスされた推定器の漸近正規性を用いて信頼区間を導出することで、弱い自己相関と最小限の正則性条件の下でも有効な被覆率を保証する。

実験結果

リサーチクエスチョン

• RQ1 データの依存性や推定器の収束に関する弱い、実用的な仮定の下でも、有効な被覆率を維持するオフポリシー評価のための信頼区間を構築できるか？
• RQ2 Q関数とマージナライズド密度比推定器の両方が一貫している必要がない状況でも、オフポリシー区間推定において頑健性と効率性を両立できるか？
• RQ3 提案手法は、DRL、IS、および経験尤度法と比較して、被覆率の有効性と区間幅の両面で優れているか？
• RQ4 デバイアスプロセスにおける条件付き密度比推定器の使用が、最終的な信頼区間の頑健性と効率性に与える影響は何か？
• RQ5 高次元または複雑な強化学習設定において、モデルの誤指定に対して頑健でありながらも半パラメトリック効率性を維持できるか？

主な発見

• 提案手法は三重の頑健性を達成しており、Q関数、マージナライズド密度比、または条件付き密度比推定器のいずれか1つが一貫している場合に限り、有効な推論が可能である。
• 半パラメトリック効率性を維持しており、非パラメトリックモデル内での信頼区間がタイトで最適であることを保証する。
• 実験結果から、本手法はデータに弱い依存性がある場合でも有効な信頼区間を生成する一方で、CoinDiceのような経験尤度ベース手法とは異なり、有効性を失わないことが示された。
• 特にデータが限られ、状態空間が高次元である設定において、被覆率の正確性と区間幅の両面で従来手法を上回った。
• 計算複雑度は管理可能でスケーラブルであり、推定器間でトレーニングコンポonentsを共有し、サンプリングステップを並列化可能である。
• CoinDiceのようなベースライン手法とは異なり、ハイパーパramータチューニングに対して頑健であり、安定した性能を得るための広範なハイパーパramータ調整を必要としない。