[論文レビュー] Automated curricula through setter-solver interactions

Sébastien Racanière, Andrew K. Lampinen+4 more|arXiv (Cornell University)|Sep 27, 2019

Reinforcement Learning in Robotics参考文献 28被引用数 34

ひとこと要約

本論文は、ダイナミックで報酬がまばらな環境におけるゴール条件付き RL の自動カリキュラム生成の setter-solver フレームワークを提示し、ゴールの妥当性、実現可能性、カバレッジを主要な目的として強調し、環境観測に条件付けすることと望ましいゴール分布をターゲットにすることを示す。

ABSTRACT

Reinforcement learning algorithms use correlations between policies and rewards to improve agent performance. But in dynamic or sparsely rewarding environments these correlations are often too small, or rewarding events are too infrequent to make learning feasible. Human education instead relies on curricula--the breakdown of tasks into simpler, static challenges with dense rewards--to build up to complex behaviors. While curricula are also useful for artificial agents, hand-crafting them is time consuming. This has lead researchers to explore automatic curriculum generation. Here we explore automatic curriculum generation in rich, dynamic environments. Using a setter-solver paradigm we show the importance of considering goal validity, goal feasibility, and goal coverage to construct useful curricula. We demonstrate the success of our approach in rich but sparsely rewarding 2D and 3D environments, where an agent is tasked to achieve a single goal selected from a set of possible goals that varies between episodes, and identify challenges for future work. Finally, we demonstrate the value of a novel technique that guides agents towards a desired goal distribution. Altogether, these results represent a substantial step towards applying automatic task curricula to learn complex, otherwise unlearnable goals, and to our knowledge are the first to demonstrate automated curriculum generation for goal-conditioned agents in environments where the possible goals vary between episodes.

研究の動機と目的

• 複雑でダイナミックかつ報酬がまばらなタスクにおいて自動カリキュラムの必要性を動機づける。
• ソルバーエージェントのためのゴールカリキュラムを生成する setter-solver フレームワークを提案する。
• 3つの setter 目的を定義し最適化する：ゴール妥当性、ゴール実現可能性、ゴールカバレージ。
• 環境観測に条件付けすることを検討し、変動する環境に対応する。
• 入手可能な場合、既知の望ましいタスク分布をターゲットとすることを検討する。

提案手法

• ソルバー（ゴール条件付き RL エージェント）、 setter（ゴールの生成モデル）、 judge（実現可能性予測器）の3コンポーネントモデルを導入する。
• setter が生成したゴールを用いてソルバーを訓練する。分散型ポリシー勾配学習（エントロピー正則化付きの V-trace）を用いる。
• ゴール妥当性を、ソルバー方針がそのゴールを達成する存在として定義する。実現可能性を、ソルバーが現時点でそれを達成する確率として定義する。カバレッジを、生成されたゴールの多様性として定義する。
• Setter の損失: (i) 実現可能なゴールへ偏らせる妥当性損失、(ii) ゴールを Judge の予測と整合させる実現可能性損失、(iii) ゴールの多様性を最大化するカバレッジ損失。
• 任意の拡張として、Wasserstein 判別器を用いて既知の望ましいゴール分布をターゲットとすること、および環境観測に setter/judge を条件付けして変動する環境に対応することを含む。

実験結果

リサーチクエスチョン

• RQ1 動的で報酬がまばらな環境において、ゴール条件付き RL の学習を自動カリキュラムが改善できるか？
• RQ2 ゴール妥当性、実現可能性、カバレッジは、複雑なタスクで効果的なカリキュラムを共同して可能にするか？
• RQ3 エピソードごとにゴールが変化する環境で、環境観測を setter/judge に条件付けすることは役立つか？
• RQ4 既知の望ましいゴール分布をターゲットとすることは、特定のタスクの習得を加速できるか？
• RQ5 Goal GAN のような既存手法と比較して、提案手法は複雑で変動する環境でどのように異なるか？

主な発見

• 複雑な環境で良好な性能を得るには、3つの setter 損失（妥当性、実現可能性、カバレッジ）のすべてが必要である。
• setter および judge を環境観測に条件付けすることは、変動する環境での性能を改善する。
• 既知の望ましい分布をターゲットとすることは、特定のタスクの学習を加速できるが、利点はタスク構造に依存する。
• この方法は、3D とグリッドワールドの希少報酬実験で、ベースラインおよび既存手法よりも優れている。
• Goal GAN と比較して、 setter-solver アプローチは、テストされたタスクでより安定的かつ効果的である。
• この研究は、エピソードごとにゴールが変わる環境でゴール条件付きエージェントの自動カリキュラム生成を実証している。