[論文レビュー] Automatic Curriculum Learning through Value Disagreement

Yunzhi Zhang, Pieter Abbeel+1 more|arXiv (Cornell University)|Jun 17, 2020

Reinforcement Learning in Robotics参考文献 40被引用数 34

ひとこと要約

本論文は、Value Disagreement Sampling (VDS) を提案し、価値関数のアンサンブルを用いて学習のフロンティアからゴールをサンプリングすることで、ゴール条件付き強化学習のカリキュラムを自動的に編成する。

ABSTRACT

Continually solving new, unsolved tasks is the key to learning diverse behaviors. Through reinforcement learning (RL), we have made massive strides towards solving tasks that have a single goal. However, in the multi-task domain, where an agent needs to reach multiple goals, the choice of training goals can largely affect sample efficiency. When biological agents learn, there is often an organized and meaningful order to which learning happens. Inspired by this, we propose setting up an automatic curriculum for goals that the agent needs to solve. Our key insight is that if we can sample goals at the frontier of the set of goals that an agent is able to reach, it will provide a significantly stronger learning signal compared to randomly sampled goals. To operationalize this idea, we introduce a goal proposal module that prioritizes goals that maximize the epistemic uncertainty of the Q-function of the policy. This simple technique samples goals that are neither too hard nor too easy for the agent to solve, hence enabling continual improvement. We evaluate our method across 13 multi-goal robotic tasks and 5 navigation tasks, and demonstrate performance gains over current state-of-the-art methods.

研究の動機と目的

• サンプル効率を向上させるための多目標強化学習における自動カリキュラム学習を動機づける。
• フロンティアゴールのサンプリングを活用して有用な訓練信号を提供する。
• 値関数アンサンブルからのエピステミック不確実性を利用するゴール提案モジュールを開発する。
• さまざまなロボティクスおよびナビゲーションタスクで手法の有効性を実証する。

提案手法

• 方針依存分布 C^π からゴールをサンプリングするゴール提案モジュールを定義する。
• K 個の Q-function のアンサンブルを用いてゴール条件付き Q-関数のエピステミック不確実性を推定する。
• アンサンブル不確実性からサンプリング分布を計算し、それに従ってゴールをサンプリングする。
• サンプルされたゴールを用いて軌跡を収集し、標準的な RL 更新を通じてポリシーと Q-関数の両方を更新する。
• スパース報酬に対処するために Hindsight Experience Replay (HER) を統合する；基盤 RL アルゴリズムとして DDPG を用いて評価する。
• アルゴリズム 1 は Value Disagreement Sampling (VDS) によるカリキュラム生成を要約する。

実験結果

リサーチクエスチョン

• RQ1 Value Disagreement Sampling (VDS) はベースラインのゴール条件付き RL 手法と比べてサンプル効率を改善するか？
• RQ2 VDS によってサンプリングされたゴールは、学習を高める有益でフロンティア風の課題に対応しているか。
• RQ3 サンプリング関数、アンサンブルサイズ、HER との組み合わせといった設計選択に対して VDS はどれくらいロバストか。

主な発見

• VDS は操作およびナビゲーション領域を含む 18 のスパース報酬タスクでサンプル効率を改善する。
• VDS は学習のフロンティアでゴールをサンプリングする傾向があり、ポリシーの熟練度が高まるにつれて難しいゴールへと移行する。
• VDS はほとんどの評価環境で HER、GoalGAN、他のカリキュラムと比較して優れている。
• VDS はさまざまなサンプリング関数とアンサンブルサイズでも有効であり、HER との組み合わせから恩恵を受ける。
• 報告された実験では VDS と HER の組み合わせが最良の性能をもたらす。