[論文レビュー] Imaginary Hindsight Experience Replay: Curious Model-based Learning for Sparse Reward Tasks

Robert McCarthy, Stephen J. Redmond+1 more|arXiv (Cornell University)|Oct 5, 2021

Reinforcement Learning in Robotics被引用数 7

ひとこと要約

本論文は、Hindsight Experience Replay (HER) を動的モデルのアンサンブルからの仮想的ロールアウトと組み合わせることで、スパarsely-rewardedなロボットタスクにおけるデータ効率を向上させるモデルベース強化学習手法、Imaginary Hindsight Experience Replay (I-HER) を提案する。報酬設計が難しい現実世界のロボット強化学習において、報酬の密集性に依存しない探索を可能にするとともに、報酬の不確実性を低減するための内在的報酬を組み合わせることで、OpenAI Gym Fetchタスクにおいて、最先端のモデルフリー手法と比較してサンプル複雑性が10倍以上低減し、1つのタスクを除き、最終的な性能は同等に達成される。

ABSTRACT

Model-based reinforcement learning is a promising learning strategy for practical robotic applications due to its improved data-efficiency versus model-free counterparts. However, current state-of-the-art model-based methods rely on shaped reward signals, which can be difficult to design and implement. To remedy this, we propose a simple model-based method tailored for sparse-reward multi-goal tasks that foregoes the need for complicated reward engineering. This approach, termed Imaginary Hindsight Experience Replay, minimises real-world interactions by incorporating imaginary data into policy updates. To improve exploration in the sparse-reward setting, the policy is trained with standard Hindsight Experience Replay and endowed with curiosity-based intrinsic rewards. Upon evaluation, this approach provides an order of magnitude increase in data-efficiency on average versus the state-of-the-art model-free method in the benchmark OpenAI Gym Fetch Robotics tasks.

研究の動機と目的

• 現実世界のロボット強化学習において、高いデータ要件と複雑な報酬設計が課題となる状況に対処すること。
• 密度の薄い報酬が設計可能な状況下で、マルチゴールタスクにおけるサンプル効率を向上させること。
• エキスパートのデモンストレーションや複雑な報酬形状に依存せずに、スパースリワード環境における効果的な探索を可能にすること。
• 各モデル更新後に仮想データを再生成することで、モデルの不正確さへの過剰適合を防ぎ、一般化性能を向上させること。
• モデルベース学習のデータ効率とHERおよび好奇心のサンプル効率・ロバスト性を統合することで、モデルベース学習とモデルフリー学習のギャップを埋めること。

提案手法

• I-HERは、スパースリワードを伴うマルチゴール強化学習タスクにおける性能向上を目的として、Hindsight Experience Replay (HER) を用いてポリシーを学習する。
• 5つの全結合ニューラルネットワーク動的モデル（ReLU活性化関数、512ユニット幅）のアンサンブルを用いて仮想的ロールアウトを生成し、Adam最適化法（0.001の学習率）で学習する。
• 各モデル更新後に仮想データを再生成することで、モデルの不正確さへの過剰適合を防ぎ、一般化性能を向上させる。
• アンサンブルは、モデル間の予測不一致に基づいた内在的報酬を提供し、未訪問の状態空間領域の探索を促進する。
• ポリシー学習中に、実際の遷移と仮想の遷移を明示的に区別するために、バイナリ信号 'env_is_real' を使用するが、データ収集段階では10%の実際のロールアウトと10%の仮想ロールアウトを混合することで、ドメイン間一般化性能を向上させる。
• 混合戦略として、10%の実際のロールアウトに 'env_is_real = 0'、10%の仮想ロールアウトに 'env_is_real = 1' を適用することで、仮想行動が現実世界で是正されることを保証する。

実験結果

リサーチクエスチョン

• RQ1 密度の高い報酬形状が不要な状況下でも、モデルベース強化学習手法がスパースリワードのロボットタスクにおいて高いデータ効率を達成できるか？
• RQ2 アンサンブルによる動的モデルからの仮想ロールアウトとHERを組み合わせることで、マルチゴールタスクにおけるサンプル効率と最終的性能にどのような影響を与えるか？
• RQ3 モデルの不一致に基づく好奇心型の内在的報酬が、モデルベースのロールアウトと組み合わせることで、スパースリワード環境における探索をどのように改善できるか？
• RQ4 ポリシー学習中に実際の遷移と仮想の遷移を明確に区別することで、モデルの不正確さに対する一般化性能とロバスト性にどのような影響を与えるか？
• RQ5 仮想ロールアウトを用いることで、現実世界での相互作用をどれほど削減しつつ、学習性能を維持または向上させられるか？

主な発見

• I-HERは、OpenAI Gym Fetch Roboticsベンチマークにおいて、最先端のモデルフリー手法と比較して、平均してサンプル複雑性が10倍以上低減した。
• 本手法は、4つのFetchタスク（Reach, Push, PickAndPlace, Slide）のうち1つを除き、最先端のモデルフリーアルゴリズムと同等の最終的性能を達成した。
• アブレーションスタディの結果、HERとアンサンブルベースの仮想的ロールアウト生成の両方が、多様なロボットタスクにおけるモデルベース強化学習の失敗モードを克服するために不可欠であることが確認された。
• モデルの不一致に基づく内在的報酬の使用は、特に容易な内在的報酬がエージェントを誤導する可能性があるPickAndPlaceのようなタスクにおいて、探索性能を顕著に向上させた。
• データ収集段階で実際のロールアウトと仮想ロールアウトを混合することで、ポリシーの一般化性能が向上し、仮想行動が現実世界で是正されることを保証した。
• 各モデル更新後に仮想データを再生成することで、モデルの不正確さに対するロバスト性を示し、予測誤差へのポリシーの過剰適合を防いだ。