[論文レビュー] MHER: Model-based Hindsight Experience Replay

Rui Yang, Meng Fang+4 more|arXiv (Cornell University)|Jul 1, 2021

Reinforcement Learning in Robotics参考文献 32被引用数 13

ひとこと要約

MHERは、学習済みのダイナミクスモデルを用いて仮想の達成済みゴールを生成することで、より効果的なゴール再ラベル化を可能にするモデルベースの後向き経験リプレイフレームワークを提案する。この手法は強化学習とモデル生成リラベルデータ上のゴール条件付き教師付き学習を組み合わせ、スパース報酬環境において従来のモデルフリーおよびモデルベース手法よりも優れたサンプル効率を達成する。

ABSTRACT

Solving multi-goal reinforcement learning (RL) problems with sparse rewards is generally challenging. Existing approaches have utilized goal relabeling on collected experiences to alleviate issues raised from sparse rewards. However, these methods are still limited in efficiency and cannot make full use of experiences. In this paper, we propose Model-based Hindsight Experience Replay (MHER), which exploits experiences more efficiently by leveraging environmental dynamics to generate virtual achieved goals. Replacing original goals with virtual goals generated from interaction with a trained dynamics model leads to a novel relabeling method, model-based relabeling (MBR). Based on MBR, MHER performs both reinforcement learning and supervised learning for efficient policy improvement. Theoretically, we also prove the supervised part in MHER, i.e., goal-conditioned supervised learning with MBR data, optimizes a lower bound on the multi-goal RL objective. Experimental results in several point-based tasks and simulated robotics environments show that MHER achieves significantly higher sample efficiency than previous model-free and model-based multi-goal methods.

研究の動機と目的

• スパース報酬下におけるマルチゴール強化学習の低サンプル効率の課題に取り組む。
• 現実の収集軌道に依存するのみの従来のゴールリラベル化手法の限界を克服する。
• 学習済みの環境ダイナミクスを活用して仮想の達成済みゴールを生成し、より効果的な経験リラベル化を実現する。
• 強化学習とモデルベースでリラベルされたデータ上の教師付き学習を統合した共同学習フレームワークを開発する。
• 提案手法の有効性を理論的に裏付けるために、元のマルチゴール強化学習目的関数の下界を最適化することを証明する。

提案手法

• 訓練済みのダイナミクスモデルを用いて、環境との相互作用から仮想の達成済みゴールを生成するモデルベースリラベル化（MBR）を導入する。
• 現在のポリシーをダイナミクスモデルでロールアウトすることで仮想軌道を生成し、再ラベル化されたゴールを伴う擬似デモンストレーションを生成する。
• MBRによって生成されたデータに対してゴール条件付き教師付き学習を適用し、ポリシーの一般化性能とサンプル効率を向上させる。
• MBRデータ上の強化学習損失と教師付き学習損失を統合した共同損失関数を定式化し、エンドツーエンドのポリシー最適化を実現する。
• 理論的分析により、MBRデータ上の教師付き学習損失を最小化することが、元のマルチゴール強化学習目的関数の下界を最適化することを証明する。
• 実際の環境相互作用を必要とせず、ダイナミクスモデルを用いて将来の状態とゴールをシミュレートすることで、データ収集コストを削減する。

実験結果

リサーチクエスチョン

• RQ1 モデルによって生成された仮想ゴールは、スパース報酬下のマルチゴール強化学習におけるサンプル効率を向上させるか？
• RQ2 MBRによって生成されたデータに教師付き学習を組み合わせることで、標準的なHERやモデルフリーのベースラインと比較してポリシー性能が向上するか？
• RQ3 MBRデータを共同で強化学習と教師付き学習のフレームワークに用いる理論的根拠はあるか？
• RQ4 MHERは、最先端のモデルベースおよびモデルフリーなマルチゴール強化学習手法と比較して、サンプル効率に優れているか？
• RQ5 完全に仮想の状態に訓練しないことで、MHERはモデルの不正確さに対してロバスト性を維持できるか？

主な発見

• MHERは、ポイントベースおよびMujoco環境において、HER、Curriculum-guided HER、Maximum Entropy-based Prioritization、およびゴール条件付き教師付き学習と比較して、顕著に高いサンプル効率を達成する。
• Point2DLargeおよびPoint2D-FourRoom環境では、ベースライン手法と比較して、ターゲットゴールに到達するための環境相互作用回数が著しく少ない。
• FetchReachおよびSawyerReachXYZタスクでは、MHERがサンプル効率において先行手法を上回り、特にスパース報酬設定下で顕著な優位性を示す。
• アブレーションスタディの結果、強化学習に加えてMBRと教師付き学習を組み合わせることで、学習速度と最終的な性能が向上することが示された。
• MHERは、完全に仮想の状態に訓練しないことで、モデルの誤差に対してもロバスト性を維持している。
• 本手法は、複雑なダイナミクスを有する連続制御タスクを含む多様な環境において、一貫した性能向上を示した。