[論文レビュー] Data-Efficient Off-Policy Policy Evaluation for Reinforcement Learning

Philip S. Thomas, Emma Brunskill|arXiv (Cornell University)|Apr 4, 2016

Reinforcement Learning in Robotics参考文献 21被引用数 74

ひとこと要約

この論文は、重み付き二重ロバスト（WDR）推定とモデルベース推定をブレンドするメカニズムを用いて平均二乗誤差を最小化する、新しいオフポリシー方策評価アルゴリズムMAGICを提案する。オフポリシーjステップリターンと適応的重み付けを活用することで、MAGICは、特にデータが少ない状況において、先行手法と比較して桁違いに低い推定誤差を達成する。

ABSTRACT

In this paper we present a new way of predicting the performance of a reinforcement learning policy given historical data that may have been generated by a different policy. The ability to evaluate a policy from historical data is important for applications where the deployment of a bad policy can be dangerous or costly. We show empirically that our algorithm produces estimates that often have orders of magnitude lower mean squared error than existing methods---it makes more efficient use of the available data. Our new estimator is based on two advances: an extension of the doubly robust estimator (Jiang and Li, 2015), and a new way to mix between model based estimates and importance sampling based estimates.

研究の動機と目的

• 異なる行動方策で収集された履歴データを用いて強化学習方策を正確に評価する課題に対処すること。
• データが限られる状況においても、オフポリシー方策評価における平均二乗誤差を低減すること。
• 漸近的バイアス低減に依存せず、平均二乗誤差を最適化することを目的とした強力な一致性を持つ推定器を開発すること。
• 重要度サンプリングとモデルベース推定を原理的かつ適応的に統合することで、データ効率を向上させること。

提案手法

• バイアスをわずかに増加させつつ分散を低減する、二重ロバスト（DR）推定の拡張版である重み付き二重ロバスト（WDR）を提案する。
• 重要度サンプリングとモデルベース推定を学習されたブレンド係数を介して統合し、平均二乗誤差を最小化する、重要度サンプリングとモデルのブレンド（BIM）推定を導入する。
• WDRとモデルベース推定（AM）をBIMフレームワークを用いて統合し、より良い性能を示す成分に動的に重みを寄せるMAGIC推定を構築する。
• 推定精度の向上と分散の低減を図るため、モデルベース部にオフポリシーjステップリターンを用いる。
• 信頼区間とデータ駆動型のブレンドパラメータ（bnとΩn）の推定を用いて、WDRとモデルベース推定の間で適応的にバランスを取る。
• WDRとMAGIC推定が強力に一貫する理論的条件を確立し、十分なデータがある場合に真の値に収束することを保証する。

実験結果

リサーチクエスチョン

• RQ1 重要度サンプリングとモデルベース推定を統合したブレンド推定は、既存のオフポリシー評価手法よりも低い平均二乗誤差を達成できるか？
• RQ2 特にデータが少ない状況において、分散を低減しつつ顕著なバイアスを導入せずに二重ロバスト推定の分散を低減する方法は何か？
• RQ3 オフポリシー評価において、平均二乗誤差を最小化するために、複数の推定（例：WDRとAM）を最適に統合する方法は何か？
• RQ4 モデルベース部にオフポリシーjステップリターンを用いることで、全ホライズンリターンと比較して推定精度が顕著に向上するか？
• RQ5 多様な環境において、ブレンドされたMAGIC推定の性能は、個々の部品（WDR、AM）および先行の最先端手法と比較してどうなるか？

主な発見

• MAGICは、全テスト環境において、DR、WDR、AMを含む既存手法と比較して、桁違いに低い平均二乗誤差を一貫して達成する。
• ハイブリッドドメインで全データを用いた場合、MAGICはすべての先行手法を2〜3桁の差で上回り、そのブレンド機構の有効性を示している。
• データが少ない状況（例：半分のデータ設定）では、MAGICはWDRとAMを顕著に上回り、優れたデータ効率を示している。
• MAGICの性能は、より良い性能を示す方（WDRまたはAM）にほぼ完全に追従するが、両者が同時にデータ増加に伴い急激に改善する際には、わずかに遅れることがある。
• オンポリシーのリターンのみを用いるMAGIC-Bという変種は、ハイブリッドドメインにおいてMAGICを1桁の差で下回っており、オフポリシーjステップリターンの重要性を強調している。
• アルゴリズムは強力な一貫性を維持し、データが増加するに従い真の値に収束するため、理論的保証が裏付けられている。