[論文レビュー] Efficient Online Reinforcement Learning with Offline Data

Philip Ball, Laura Smith+2 more|arXiv (Cornell University)|Feb 6, 2023

Reinforcement Learning in Robotics被引用数 13

ひとこと要約

この論文は、標準的なオフポリシーRLがオンライン学習のためにオフラインデータを効果的に活用できることを、最小限の変更で示しており、対称サンプリング、LayerNorm、 ensemblesを用いて diverse tasksで強力な性能を達成するRLPD（Reinforcement Learning with Prior Data）を提案している。

ABSTRACT

Sample efficiency and exploration remain major challenges in online reinforcement learning (RL). A powerful approach that can be applied to address these issues is the inclusion of offline data, such as prior trajectories from a human expert or a sub-optimal exploration policy. Previous methods have relied on extensive modifications and additional complexity to ensure the effective use of this data. Instead, we ask: can we simply apply existing off-policy methods to leverage offline data when learning online? In this work, we demonstrate that the answer is yes; however, a set of minimal but important changes to existing off-policy RL algorithms are required to achieve reliable performance. We extensively ablate these design choices, demonstrating the key factors that most affect performance, and arrive at a set of recommendations that practitioners can readily apply, whether their data comprise a small number of expert demonstrations or large volumes of sub-optimal trajectories. We see that correct application of these simple recommendations can provide a $\mathbf{2.5\times}$ improvement over existing approaches across a diverse set of competitive benchmarks, with no additional computational overhead. We have released our code at https://github.com/ikostrikov/rlpd.

研究の動機と目的

• 事前に収集されたオフラインデータを活用してオンラインRLのサンプル効率と探索を改善する。
• オフライン事前学習なしで、シンプルで最小限の設計選択が高い性能を実現できることを示す。
• 実践的なワークフローとアブレーションを提供して、実務家がドメインを超えてオフラインデータを適用する際の指針とする。

提案手法

• 追加のハイパーパラメータなしでオンラインデータとオフラインデータを組み合わせる対称サンプリングを導入する。
• CriticにLayer Normalizationを用いてQ値の外挿を抑制し学習を安定化させる。
• Q関数の大規模なアンサンブル（およびTDバックアップ）を取り入れてサンプル効率を向上させる。
• オフライン遷移に対するオンラインBellmanバックアップを活用して、pre-training や imitation termsなしで学習を加速する。
• オプションとして entropy backups および random ensemble distillation を含め、 sparse rewards の設定で学習を安定化させる。
• 環境ごとの設計指針と、RLPDをドメイン横断で適用するための実践的なワークフローを提供する。

実験結果

リサーチクエスチョン

• RQ1 既存のオフポリシーRLアルゴリズムは、 offline pre-training なしでオンライン学習のためにオフラインデータを効果的に利用できるか？
• RQ2 オフラインデータを用いたオンラインRLを信頼性とサンプル効率を高めるために、どのようなシンプルな設計選択が必要か？
• RQ3 この設定でLayerNormは値の外挿と学習の安定性にどのような影響を与えるか？
• RQ4 大規模なアンサンブルと対称データサンプリングは、多様なオフラインデータセットやタスク全体に一般化するか？
• RQ5 提案されたワークフローは、ピクセルベースの観測を含むさまざまな環境で頑健か？

主な発見

• RLPDは、Adroit、AntMaze、Locomotionのベンチマークで21タスクにおいて従来の最先端と同等かそれ以上を達成する。
• 対称サンプリング（50/50 online/offline）は、ハイパーパラメータチューニングなしで強力な性能を提供する。
• criticにおけるLayerNormは、価値の過度な外挿を大幅に抑制し、特にオフラインデータが限定的な場合に学習を安定化させる。
• 大規模なアンサンブルとTDバックアップはサンプル効率を向上させ、特にsparse reward設定やピクセルベースのタスクで顕著である。
• 環境ごとの設計選択を伴う実践的なワークフローは、多様なドメインにわたって信頼性の高い性能向上をもたらす。