[論文レビュー] Multi-Goal Reinforcement Learning: Challenging Robotics Environments and Request for Research

Matthias Plappert, Marcin Andrychowicz+10 more|arXiv (Cornell University)|Feb 26, 2018

Reinforcement Learning in Robotics参考文献 17被引用数 196

ひとこと要約

本論文は、マルチゴールRLフレームワークの下でスパース報酬を伴う挑戦的な連続制御ロボティクス課題のセットを導入し、特にHERベースの手法を含むRLアルゴリズムを改善する具体的な研究アイデアを概観する。

ABSTRACT

The purpose of this technical report is two-fold. First of all, it introduces a suite of challenging continuous control tasks (integrated with OpenAI Gym) based on currently existing robotics hardware. The tasks include pushing, sliding and pick & place with a Fetch robotic arm as well as in-hand object manipulation with a Shadow Dexterous Hand. All tasks have sparse binary rewards and follow a Multi-Goal Reinforcement Learning (RL) framework in which an agent is told what to do using an additional input. The second part of the paper presents a set of concrete research ideas for improving RL algorithms, most of which are related to Multi-Goal RL and Hindsight Experience Replay.

研究の動機と目的

• FetchおよびShadow Dexterous Handハードウェアに基づき、OpenAI Gymと統合された挑戦的な連続制御タスクのセットを導入する。
• 目標を追加入力として提供し、報酬は希少かつ二値であるマルチゴールRLフレームワークを採用する。
• 新しい環境で、HER有無のDDPGを含むベースラインRLアルゴリズムを評価し、性能をベンチマークする。
• マルチゴールRLとHindsight Experience Replay (HER)を進展させる具体的な研究方向を提案する。

提案手法

• 希少で2値の報酬とマルチゴール入力を持つFetchおよびShadow Hand環境のセットを定義し、公開する。
• 観測、desired_goal、および achieved_goal フィールドを特徴とするGoalEnvベースのインターフェースを備えたOpenAI Gymを拡張する。
• HERを使用して経験リプレイを強化し、希少報酬設定と密報酬設定の両方で評価する。
• 全ての環境とバリエーションで、HERあり/なしのDDPGをベンチマークし、中央値のテスト成功率と四分位範囲を報告する。
• 再現性のためのハイパーパラメータの詳細と、OpenAI Baselines内の参照実装を提供する。
• research_questions_header
• research_questions_anyway
• Not used

実験結果

リサーチクエスチョン

• RQ1 サンプル効率を改善するために、後知恵体験再生（Hindsight Experience Replay）用の目標を自動的に生成するにはどうすればよいか？
• RQ2 高度に確率的な環境でHERを偏りのないものにすることは可能か、また重要度サンプリングはどのように役立つか？
• RQ3 学習速度と安定性を高めるために、階層的またはマルチステップアプローチを用いてHERを拡張する効果的な方法は何か？
• RQ4 HERをオンポリシーRLアルゴリズム（例：PPO）と統合し、最近のRLの進歩（例：優先リプレイ、分布型RL）と組み合わせるにはどうすればよいか？
• RQ5 連続制御タスクでアクション頻度が増加する際、情報伝播とサンプル効率を改善する戦略は何か？

主な発見

• DDPG with HER substantially outperforms all configurations across the majority of Fetch and Hand environments, especially with sparse rewards.
• DDPG+HER often learns well with sparse rewards, whereas vanilla DDPG struggles without HER.
• FetchReach is easy to solve for all configurations, serving as a basic sanity check for new methods.
• Hand-related tasks like HandManipulatePen remain particularly challenging, with HER not fully solving all variants.
• Dense rewards do not always yield better performance when using HER, and sparse rewards can facilitate simpler critic learning and better policy strategies.
• The paper provides a full benchmark and hyperparameter setup enabling reproducibility and comparison with existing baselines in OpenAI Baselines.
• The environments and multi-goal interface extend OpenAI Gym with a GoalEnv-compatible structure and a dictionary-based observation space, including a compute_reward function for flexible goal substitutions.