[論文レビュー] Hindsight Experience Replay

Marcin Andrychowicz, Filip Wolski+8 more|arXiv (Cornell University)|Jul 5, 2017

Reinforcement Learning in Robotics参考文献 44被引用数 352

ひとこと要約

HERは sparse binary rewards からのサンプル効率の高い学習を可能にする。各エピソードを代替ゴールでリプレイすることにより、ロボティクスのマルチゴールタスクにおけるオフポリシーRLを改善する。

ABSTRACT

Dealing with sparse rewards is one of the biggest challenges in Reinforcement Learning (RL). We present a novel technique called Hindsight Experience Replay which allows sample-efficient learning from rewards which are sparse and binary and therefore avoid the need for complicated reward engineering. It can be combined with an arbitrary off-policy RL algorithm and may be seen as a form of implicit curriculum. We demonstrate our approach on the task of manipulating objects with a robotic arm. In particular, we run experiments on three different tasks: pushing, sliding, and pick-and-place, in each case using only binary rewards indicating whether or not the task is completed. Our ablation studies show that Hindsight Experience Replay is a crucial ingredient which makes training possible in these challenging environments. We show that our policies trained on a physics simulation can be deployed on a physical robot and successfully complete the task.

研究の動機と目的

• ロボティクスにおける報酬設計の難易度と sparse なシグナルからの学習の必要性を動機づける。
• ゴールを入力として組み込む universal policies を学習する方法を紹介する。
• ゴールを変更した経験をリプレイすることで学習効率が劇的に改善されることを示す。
• シミュレーションで訓練したポリシーが実機ロボットへ移行できることを示す。

提案手法

• state と goal を入力として取る universal value function approximators を使用する。
• 元のゴールとエピソードで達成された最終状態などの追加ゴールを含めて各エピソードをリプレイする。
• リプレイバッファを hindsight transitions で拡張した off-policy RL アルゴリズム（例：DQN、DDPG、NAF、SDQN）を適用する。
• 報酬を sparse binary に定義するか、リプレイゴールのためにさまざまな戦略で探索する。
• HERを off-policy RL に組み込むアルゴリズム記述（Algorithm 1）を提供する。
• 学習に影響を与えるさまざまなゴールサンプリング戦略（final、future、episode、random など）を分析する。

実験結果

リサーチクエスチョン

• RQ1 hindsight replay による off-policy RL は sparse で binary rewards から効果的に学習できるか？
• RQ2 alternative goals で軌跡をリプレイすることでマルチゴール操作タスクの学習が可能になるか？
• RQ3 追加ゴールをリプレイのために選択する戦略のうち、学習効率を最大化するのはどれか？
• RQ4 HER はシミュレーションから実機ロボットへの移行を fine-tuning なしで実現できるか？

主な発見

• DDPG with HER は standard RL が失敗する中で pushing, sliding, and pick-and-place tasks を解決する。
• HER は sparse rewards でも有効で、 tested tasks で報酬設計の代替案を上回ることができる。
• Using future/episode/partial future goals for replay yields better performance, especially for the sliding task.
• Policies trained in simulation can deploy on a physical Fetch robot with no fine-tuning after adding observation noise during retraining.
• Reward shaping did not improve performance for these tasks under the tested forms.
• Training with multiple goals speeds learning even when only one goal is of interest.