[論文レビュー] Adaptive Estimator Selection for Off-Policy Evaluation

Yi Su, Pavithra Srinath+1 more|arXiv (Cornell University)|Feb 18, 2020

Reinforcement Learning in Robotics参考文献 29被引用数 7

ひとこと要約

本稿では、オフポリシー評価における適応的推定子選択のためのデータ駆動型手法Slopeを提案する。Slopeは、バイアスと分散のバランスを、分散に基づく信頼区間を用いることで図ることで、オラクル推定子と定数倍の性能差に留める競争力のある性能を達成する。強化学習および文脈的バンディットの多様な環境において、既存の手法（例：Magic）を上回り、一貫して最適なハイパーパrameterを選択する。

ABSTRACT

We develop a generic data-driven method for estimator selection in off-policy policy evaluation settings. We establish a strong performance guarantee for the method, showing that it is competitive with the oracle estimator, up to a constant factor. Via in-depth case studies in contextual bandits and reinforcement learning, we demonstrate the generality and applicability of the method. We also perform comprehensive experiments, demonstrating the empirical efficacy of our approach and comparing with related approaches. In both case studies, our method compares favorably with existing methods.

研究の動機と目的

• オフポリシー評価における最適な推定子選択という、交差検証が不偏な誤差推定ができないため失敗するような、強化学習および文脈的バンディットにおける重要な課題に取り組む。
• 一般的に一般化が難しいヒューリスティックやドメイン固有のガイドラインに依存する傾向がある、推定子ハイパーパrameterチューニングにおけるバイアス-分散トレードオフを克服する。
• 連続的アクションを持つ文脈的バンディットや部分的重要度重み付けを用いた強化学習など、多様なオフポリシー評価設定に適用可能な汎用的で理論的根拠に基づいた手法を開発する。
• 最小限の仮定のもとで、選択された推定子がオラクル選択と定数倍の性能差に留まるという性能保証を確立する。
• 複数の環境および推定子ファミリーにおいて、既存の手法（例：Magic や固定ホライズン推定子）を上回る実験的優位性を示す。

提案手法

• 各推定子の分散推定値を用いて、それらの（バイアス付きの）期待値の周りに信頼区間を構築し、不偏な誤差推定の必要性を回避する。
• Lepski型の選択ルールを適用し、他のすべての推定子の期待値が許容誤差内に含まれる範囲で、最も狭い信頼区間を持つ推定子を同定する。
• 信頼区間の幅と他の推定子との重複度を用いてバイアスと分散の和を近似することで、バイアスと分散のバランスを取る。
• 真の誤差推定が不要な観測可能な分散推定値のみを用いて、オラクルチューニングのデータ駆動型代替手法として選択手順を形式化する。
• 連続的アクションを持つ文脈的バンディットにおけるバンド幅選択および強化学習における部分的重要度重み付け推定子のホライズン選択という2つの主要な応用にこの手法を拡張する。
• 非パラメトリック統計手法（例：Lepskiの手法）を用いて実装することで、さまざまなデータ条件において理論的整合性と頑健性を確保する。

実験結果

リサーチクエスチョン

• RQ1 オフポリシー評価において、交差検証や最小化境界の欠陥を避けるデータ駆動型推定子選択手法を開発可能か？
• RQ2 汎用的な選択手順は、多様なオフポリシー評価設定において、オラクル推定子と競合する性能をどの程度達成できるか？
• RQ3 高い分散やモデル不一致があるような状況において、既存の手法（例：Magic）と比較して、本手法の実用的性能はどの程度高いか？
• RQ4 本手法は、文脈的バンディットおよび強化学習の両方において、モデルベースおよび重要度サンプリングベースの推定子の両方のタイプに一般化可能か？
• RQ5 真の誤差推定やドメイン固有のチューニングを必要とせず、最適なハイパーパrameter（例：バンド幅、偽ホライズン）を信頼性高く選択可能か？

主な発見

• Slopeは、実装不可能なスカイラインオラクルと競合する推定子を一貫して選択し、すべての実験条件下で固定ハイパーパramータ選択よりも優れた性能を示す。
• 強化学習設定において、Slopeは、唯一の類似する推定子選択手法であるMagicを、Gridworld、Mountain Car、Hybridを含む複数のドメインで顕著に上回る。
• 連続的アクションを持つ文脈的バンディットでは、Slopeは全テストバンド幅で低い平均二乗誤差（MSE）を達成し、ロバストネスと適応性を示す。
• Hybridドメインでは、Slopeの学習曲線は、サンプルサイズの増加に伴い安定的かつ低誤差を維持し、誤差バーがすべてのベースラインを下回っている。
• 対比較t検定の結果、Slopeの性能は106の全実験条件下で有意に優れており、有意水準0.05で統計的に有意である。
• 本手法は、ポリシー不一致、報酬のスパarsity、確率的要因が変動する環境においても、強力な実験的性能を示し、一般化可能性を裏付けた。