[論文レビュー] When to Trust Your Simulator: Dynamics-Aware Hybrid Offline-and-Online Reinforcement Learning

Haoyi Niu, Shubham Sharma+5 more|arXiv (Cornell University)|Jun 27, 2022

Reinforcement Learning in Robotics被引用数 7

ひとこと要約

本稿では、限られた現実世界のオフラインデータと不完全なシミュレータにおけるオンラインロールアウトを組み合わせることで、シミュレーションから実世界への政策適用のギャップを低減する、ダイナミクスに配慮したハイブリッドオフライン・オンライン強化学習フレームワークH2Oを提案する。実データとの比較によって、ダイナミクスギャップが大きいシミュレートされた遷移に対してQ値を適応的にペナルティ化することで、H2Oは純粋なオフラインまたはオンラインベースラインよりも優れた性能を発揮し、特にオフラインデータセットが小さい場合に、シミュレーションおよび実世界のロボットタスクにおいて、頑健性とサンプル効率の両面で優れた性能を示す。

ABSTRACT

Learning effective reinforcement learning (RL) policies to solve real-world complex tasks can be quite challenging without a high-fidelity simulation environment. In most cases, we are only given imperfect simulators with simplified dynamics, which inevitably lead to severe sim-to-real gaps in RL policy learning. The recently emerged field of offline RL provides another possibility to learn policies directly from pre-collected historical data. However, to achieve reasonable performance, existing offline RL algorithms need impractically large offline data with sufficient state-action space coverage for training. This brings up a new question: is it possible to combine learning from limited real data in offline RL and unrestricted exploration through imperfect simulators in online RL to address the drawbacks of both approaches? In this study, we propose the Dynamics-Aware Hybrid Offline-and-Online Reinforcement Learning (H2O) framework to provide an affirmative answer to this question. H2O introduces a dynamics-aware policy evaluation scheme, which adaptively penalizes the Q function learning on simulated state-action pairs with large dynamics gaps, while also simultaneously allowing learning from a fixed real-world dataset. Through extensive simulation and real-world tasks, as well as theoretical analysis, we demonstrate the superior performance of H2O against other cross-domain online and offline RL algorithms. H2O provides a brand new hybrid offline-and-online RL paradigm, which can potentially shed light on future RL algorithm design for solving practical real-world tasks.

研究の動機と目的

• 不完全なシミュレータ（簡略化されたダイナミクスを有する）が引き起こすシミュレーションから実世界への一般化ギャップを解消すること。
• オフラインデータセットの状態・行動カバレッジが限られている場合に、過度に慎重になり、性能が低下する純粋なオフラインRLの限界を克服すること。
• シミュレーションにおけるオンラインRLの無制限な探索と、現実世界のオフラインデータの正確なダイナミクスを効果的に統合する包括的なフレームワークを構築すること。
• 大規模な現実世界データ収集が費用がかかりすぎる、あるいは現実的でない実世界応用において、高性能な政策学習を可能にすること。

提案手法

• H2Oは、学習済みのダイナミクスモデルを用いて、シミュレートされた遷移と実際の遷移の間のダイナミクスギャップを定量化する、ダイナミクスに配慮した政策評価メカニズムを導入する。
• ダイナミクスギャップが大きいシミュレートされた状態・行動ペアのQ値に対して、適応的にペナルティを課すことで、学習中に誤ったシミュレーションデータの影響を低減する。
• 固定されたオフライン現実世界データセットと、不完全なシミュレータからのオンラインロールアウトを同時に学習し、一定サイズのシミュレーションバッファを維持する。
• ダイナミクスギャップの大きさに応じてQ値更新を動的に調整する価値正則化スキームを採用し、サンプル効率と政策の頑健性を向上させる。
• 対照学習に基づくダイナミクスモデルを用いて、シミュレートされた軌道と実際の軌道の乖離を推定し、信頼性の高いギャップ検出を可能にする。
• H2OはCQLなどの標準的なオフラインRLアルゴリズムと互換性があり、シームレスな統合と性能向上を実現できる。

実験結果

リサーチクエスチョン

• RQ1 不完全なシミュレータと限られた現実世界データを用いた場合に、ハイブリッドオフライン・オンラインRLフレームワークが、シミュレーションから実世界へのギャップを効果的に低減できるか。
• RQ2 高精細なシミュレータに依存せずに、シミュレーションと現実の間のダイナミクスギャップをどのように定量化し、政策学習を導くか。
• RQ3 シミュレーションにおけるオンライン探索と現実世界のオフラインデータを組み合わせることで、純粋なオフラインまたはオンラインRLよりも優れたサンプル効率と性能が得られるか。
• RQ4 ダイナミクスに配慮した補正メカニズムを用いる場合、オフラインデータセットのサイズが政策性能に与える影響は何か。
• RQ5 提案されたフレームワークは、シミュレーションおよび実世界のロボット環境において、既存のオフラインおよびオンラインRL手法を上回る性能を発揮できるか。

主な発見

• H2Oは、HalfCheetahおよびWalker2d環境において、CQLや他のベースラインを一貫して上回り、オフラインデータセットサイズが50k遷移未満に減少する際の性能向上が顕著である。
• 60kのオフライン遷移を用いた場合、H2Oは高い性能を維持する一方で、CQLの性能は著しく低下し、H2Oの小さなオフラインデータセットに対する頑健性が示された。
• 摩擦ダイナミクス下のHalfCheetah Randomデータセット（低品質データ）では、H2Oが4,862±1,608の報酬を達成し、SAC（2,684±2,646）およびCQL（2,465±180）を上回り、劣悪なデータ品質に対しても耐性があることが示された。
• 重力が変更されたWalker2d Medium Replayデータセットでは、H2Oが3,656±582の報酬を達成し、DARC+（2,375±579）およびCQL（1,445±1,077）を上回り、実世界のダイナミクス環境下でも有効性が確認された。
• 学習曲線から、H2Oおよびその変種H2O(v)は、すべてのタスクで一貫してベースラインを上回る性能を示した。一方、DARC+は一部のケースで性能が劣り、オンラインとオフラインデータの慎重な統合の重要性が浮き彫りになった。
• アブレーションスタディにより、ダイナミクスに配慮したQ値補正が不可欠であることが確認され、これを除去すると特にダイナミクスギャップが大きい状況で性能が低下した。