[論文レビュー] Benchmarks for Deep Off-Policy Evaluation

Justin Fu, Mohammad Norouzi+11 more|arXiv (Cornell University)|Mar 30, 2021

Reinforcement Learning in Robotics参考文献 54被引用数 24

ひとこと要約

本稿では、高次元連続制御タスクを用いたオフポリシー強化学習手法の評価のための標準化されたフレームワークであるDeepオフポリシー評価（DOPE）ベンチマークを紹介する。本研究では、多様なオффラインデータセット、各タスクごとの複数のポリシー、および理想状態と悪意のある状態の両方を想定した厳密な評価プロトコルを提供し、OPEアルゴリズムのポリシー価値推定、ランク付け、選択に関する信頼性の高い比較を可能にするとともに、再現性を確保するための最先端のベースライン結果を報告している。

ABSTRACT

Off-policy evaluation (OPE) holds the promise of being able to leverage large, offline datasets for both evaluating and selecting complex policies for decision making. The ability to learn offline is particularly important in many real-world domains, such as in healthcare, recommender systems, or robotics, where online data collection is an expensive and potentially dangerous process. Being able to accurately evaluate and select high-performing policies without requiring online interaction could yield significant benefits in safety, time, and cost for these applications. While many OPE methods have been proposed in recent years, comparing results between papers is difficult because currently there is a lack of a comprehensive and unified benchmark, and measuring algorithmic progress has been challenging due to the lack of difficult evaluation tasks. In order to address this gap, we present a collection of policies that in conjunction with existing offline datasets can be used for benchmarking off-policy evaluation. Our tasks include a range of challenging high-dimensional continuous control problems, with wide selections of datasets and policies for performing policy selection. The goal of our benchmark is to provide a standardized measure of progress that is motivated from a set of principles designed to challenge and test the limits of existing OPE methods. We perform an evaluation of state-of-the-art algorithms and provide open-source access to our data and code to foster future research in this area.

研究の動機と目的

• 深層強化学習におけるオフポリシー評価（OPE）のための統一的で挑戦的なベンチマークの欠如に対処すること。
• 多様で高次元の連続制御環境におけるOPE手法の標準化・再現可能な評価を可能にすること。
• データセットのカバレッジやサポート条件の変動下でも、ポリシー価値推定、ランク付け、選択の評価を支援すること。
• 多様な行動ポリシーを有する大規模かつ長時間スパンのオフラインデータセットを提供し、OPEアルゴリズムのストレステストを可能にすること。
• オープンソースのデータセット、ターゲットポリシー、評価コード、およびベースライン結果の公開を通じて、オフラインRL分野の進展を促進すること。

提案手法

• DOPEベンチマークは、ポリシー価値推定と選択の評価を目的に、1タスクあたり10～96のポリシーを含み、さまざまなパフォーマンスレベルをカバーする。
• D4RLおよびRL Unpluggedから標準化されたオフラインRL環境（Ant、Hopper、Walker2d、HalfCheetah）を用い、高次元連続アクション空間を有する。
• 評価は、データセットカバレッジやサポートの変動を想定した理想状態と悪意のある状態の両方で実施され、OPE手法のロバストネスをテストする。
• 評価には、regret@1、平均二乗誤差（MSE）、推定された報酬と真の報酬の間の相関係数などのメトリクスが用いられる。
• 標準化された評価APIを備え、全タスクにおいて最先端のOPEアルゴリズム（例：DICE、VPM、Doubly Robust、FQE、IS）の結果を報告している。
• フレームワークは単一ポリシー価値推定とマルチポリシー選択の両方をサポートし、OPEアルゴリズムの包括的評価を可能にしている。

実験結果

リサーチクエスチョン

• RQ1 既存のOPE手法は、多様な高次元で長時間スパンの連続制御タスクにおいて、どのように性能を発揮するか？
• RQ2 OPE手法は、データセットカバレッジやサポート条件の変動下でもどの程度一般化可能か？
• RQ3 オフラインデータのみが利用可能な状況で、OPE手法は候補ポリシーのうち最良のものをどの程度うまくランク付け・選択できるか？
• RQ4 多様な行動ポリシーを有する現実的で複雑な環境において、最先端のOPEアルゴリズムの相対的性能はいかがなっているか？
• RQ5 さまざまなOPE手法は、挑戦的なオフライン評価シナリオにおいて、バイアス、分散、ロバストネスのトレードオフをどのように果たしているか？

主な発見

• Doubly RobustとFQE（L2）は、専門家および中程度のポリシー下で、AntおよびHopperタスクにおいて、regret@1が0.20未満という一貫した低さを示した。
• 最良のDICEは、AntおよびHopperで良好な性能を示し、理想状態下でregret@1が0.17～0.18の範囲に収まったが、高分散性や悪意のある状態下では性能を発揮できず、高い分散を示した。
• Importance Sampling（IS）は高い分散と悪化した性能を示し、複数のタスクでregret@1が0.5を超えた。特に低カバレッジデータセット下で顕著であった。
• VPMはタスク全体で安定した性能を示したが、特に高分散性または低サポート状態下ではDICEやDoubly Robustに劣った。
• 散布図の分析から、大多数の手法が顕著な推定誤差を示しており、特にランダムまたは中程度のポリシー下でWalker2dおよびAntタスクに顕著な外れ値が観察された。
• ベンチマークの結果から、データセットカバレッジとサポートがOPE性能に顕著な影響を及ぼすことが明らかになった。理想状態では優れた性能を示すが、悪意のある状態下では著しく失敗する手法も存在した。