[論文レビュー] Challenges and Opportunities in Offline Reinforcement Learning from Visual Observations

Cong Lu, Philip Ball+4 more|arXiv (Cornell University)|Jun 9, 2022

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

本論文は、DMControl Suiteに基づき、視覚的観測からのオフライン強化学習のためのベンチマークスイート、v-d4rlを紹介する。このスイートにより、アルゴリズムの標準化された評価が可能になる。DreamerV2とDrQ-v2をオフラインベースラインに適応させることで、視覚的連続制御タスクにおける優れた性能を示し、未学習のダイナミクスへの一般化やスケーラビリティといった重要な課題を明らかにした。また、研究の加速を図るため、コードとデータをオープンソース化した。

ABSTRACT

Offline reinforcement learning has shown great promise in leveraging large pre-collected datasets for policy learning, allowing agents to forgo often-expensive online data collection. However, offline reinforcement learning from visual observations with continuous action spaces remains under-explored, with a limited understanding of the key challenges in this complex domain. In this paper, we establish simple baselines for continuous control in the visual domain and introduce a suite of benchmarking tasks for offline reinforcement learning from visual observations designed to better represent the data distributions present in real-world offline RL problems and guided by a set of desiderata for offline RL from visual observations, including robustness to visual distractions and visually identifiable changes in dynamics. Using this suite of benchmarking tasks, we show that simple modifications to two popular vision-based online reinforcement learning algorithms, DreamerV2 and DrQ-v2, suffice to outperform existing offline RL methods and establish competitive baselines for continuous control in the visual domain. We rigorously evaluate these algorithms and perform an empirical evaluation of the differences between state-of-the-art model-based and model-free offline RL methods for continuous control from visual observations. All code and data used in this evaluation are open-sourced to facilitate progress in this domain.

研究の動機と目的

• 連続制御タスクにおける視覚的観測からのオフライン強化学習のための標準化されたベンチマークの欠如に応える。
• 多様な行動方針と視覚的干渉を含む、現実のデータ分布を反映する包括的なベンチマークスイート（v-d4rl）を構築する。
• モデルベースおよびモデルフリーベースのオフライン強化学習手法の視覚的観測における性能を、頑健性、一般化、スケーラビリティに焦点を当てて評価する。
• 現在のアプローチにおける主な失敗モードと未解決の問題、特に未学習のダイナミクスへの一般化とモデルベース手法のスケーリングに関する課題を特定する。
• 再現可能でコミュニティ主導の進展を可能にするために、オープンソースのコードとデータセットを提供する。

提案手法

• DMControl Suiteに基づき、複数の行動方針（ランダム、ミディアム、エキスパート）と視覚モalityを組み合わせたv-d4rlベンチマークスイートを設計する。
• トレーニングプロトコルを変更することで、2つの最先端のオンライン強化学習アルゴリズム（DreamerV2（モデルベース）、DrQ-v2（モデルフリー））をオフラインバージョンに適応し、オフラインデータセットを使用するようにする。
• 頑健性（視覚的干渉への耐性）、ダイナミクス間での一般化、スケールにおける性能向上という3つの核心的な望ましい特性に整合する評価プロトコルのスイートを導入する。
• データ効率を評価し、RLベースの手法と比較するため、行動クラッシングベースライン（DrQ+BC）を実装する。
• 生のピクセルを処理するためにビジョンエンコーダ（例：ResNet）を用い、プロ prioceptive状態へのアクセスなしにエンドツーエンド学習を可能にする。
• 異なるデータセットサイズでモデルを訓練・評価し、スケーラビリティと収益の減少を分析する。標準指標（報酬、成功確率）を用いる。

実験結果

リサーチクエスチョン

• RQ1 多様な行動方針で学習させた場合、モデルベースおよびモデルフリーのオフライン強化学習手法は、視覚的連続制御タスクでどの程度の性能を示すか？
• RQ2 オフライン強化学習アルゴリズムは、学習データセットに存在しない未学習のダイナミクスにどの程度一般化できるか？
• RQ3 データセットサイズの増加に伴い性能はどのように変化するか？収益の減少が現れるのはどの段階か？
• RQ4 視覚的干渉や分布シフトに直面した場合、現在のオフライン強化学習手法の主な失敗モードは何か？
• RQ5 オンライン強化学習アルゴリズムの単純な適応は、視覚的観測設定において、既存の専用のオフライン強化学習手法を上回る性能を示せるか？

主な発見

• DreamerV2とDrQ-v2をオフライン設定に単純に適応した手法が、視覚的連続制御タスクにおいて既存のオフライン強化学習手法を上回り、強力なベースラインを確立した。
• オフラインDV2は、エキスパートのデータの10分の1のデータ量（10×少ない）でwalker-walkランダムデータセットで約500の報酬を達成し、優れたデータ効率を示した。
• DrQ+BCはOffline DV2よりもより高いスケーリング効率を示し、50万の観測で8時間（10万の観測で10時間のOffline DV2と比較）で学習が完了し、モデルフリーメソッドの計算的利点を浮き彫りにした。
• 性能はデータセットサイズの増加に伴い単調に向上するが、元のデータセットサイズの2倍を超えると収益の減少が顕著に現れ、性能のプラトーに達することが示された。
• 両手法（Offline DV2とDrQ+BC）は、データスケーリングに伴い行動クラッシングを大幅に上回った（それぞれ平均で42.1%および32.5%の向上）。一方、BCはわずか10.8%の向上にとどまった。
• 未学習のダイナミクスへの一般化において、両手法が顕著な性能低下を示したため、視覚的オフライン強化学習における一般化は依然として重要な未解決の課題であることが明らかになった。