[論文レビュー] Reverse Curriculum Generation for Reinforcement Learning

Carlos Florensa, David Held+3 more|arXiv (Cornell University)|Jul 17, 2017

Reinforcement Learning in Robotics参考文献 33被引用数 140

ひとこと要約

本論文は、反転学習RLフレームワークを提示し、初期状態のカリキュラムを自動的に生成して、与えられたゴールから徐々に難しい開始状態へと展開する。デモや報酬設計なしで、スパースゴールタスクの効率的な学習を可能にする。

ABSTRACT

Many relevant tasks require an agent to reach a certain state, or to manipulate objects into a desired configuration. For example, we might want a robot to align and assemble a gear onto an axle or insert and turn a key in a lock. These goal-oriented tasks present a considerable challenge for reinforcement learning, since their natural reward function is sparse and prohibitive amounts of exploration are required to reach the goal and receive some learning signal. Past approaches tackle these problems by exploiting expert demonstrations or by manually designing a task-specific reward shaping function to guide the learning agent. Instead, we propose a method to learn these tasks without requiring any prior knowledge other than obtaining a single state in which the task is achieved. The robot is trained in reverse, gradually learning to reach the goal from a set of start states increasingly far from the goal. Our method automatically generates a curriculum of start states that adapts to the agent's performance, leading to efficient training on goal-oriented tasks. We demonstrate our approach on difficult simulated navigation and fine-grained manipulation problems, not solvable by state-of-the-art reinforcement learning methods.

研究の動機と目的

• 報酬設計やデモなしで、スパース報酬のゴール志向タスクを学ぶ方法に取り組む。
• エージェントの現在の性能に適応する開始状態分布を提案するカリキュラム。
• 局所的な摂動を用いてゴールから展開することで開始状態を自動生成する方法を開発する。
• 従来のRL能力を超える難しいロボットのナビゲーションと操作タスクで有効性を示す。

提案手法

• 学習速度を最大化するために、反復ごとに変化する開始状態分布を用いた学習を形式化して、学習速度を最大化する。
• 現在の方策が中間的な成功を達成する状態を良い開始状態（good starts）として定義する。
• シード状態から、アクション空間で短いブラウン運動のようなロールアウトを行い、近傍の開始状態を生成する。
• 学習を安定化し徐々の拡張を可能にするため、以前の良い開始状態のリプレイバッファを使用する。
• 適応的な開始分布上で、TRPO（または任意のオンポリシー法）を用いて反復的にポリシーを訓練する。
• 一般化を保証するため、元の開始状態分布上で進捗を評価する。

実験結果

リサーチクエスチョン

• RQ1 トレーニング中に開始状態分布を適応させることは、スパース報酬のゴール指向タスクの学習を加速できるか？
• RQ2 『良い開始状態』に訓練を集中し、ゴールから展開することは、一様な開始状態サンプリングよりも速くてロバストな方策を生み出すか？
• RQ3 アクション空間のブラウン運動によって近傍の状態を生成することは、開始状態カリキュラムを成長させる効果的な方法か？
• RQ4 デモや報酬設計なしでカリキュラムを実装し、挑戦的な操作タスクを解決できるか？

主な発見

• 適応的な開始状態カリキュラムは、一様な開始状態サンプリングと比較して学習速度と最終性能を向上させる。
• この手法は、当時の最先端RL手法では解けなかったタスク（ナビゲーションや微細な操作を含む）を解くことを可能にする。
• 訓練はゴール近傍の良い開始状態に集中し、外側へ拡張して、モデルを用いない“後退的”な学習を可能にする。
• 近傍開始状態のブラウン運動ベース生成は、すべての以前の開始状態を使用するよりも、より効率的なカリキュラム成長を生む。
• 良い開始状態をターゲットにせずすべての以前の開始状態を使用する単純なアブレーションは、提案手法を下回る。
• オラクル拒否サンプリングの上限推定は、近似を考慮するとこの手法が実用的な効率に近いことを示唆する。