[論文レビュー] Curriculum in Gradient-Based Meta-Reinforcement Learning

Bhairav Mehta, Tristan Deleu+3 more|arXiv (Cornell University)|Feb 19, 2020

Reinforcement Learning in Robotics参考文献 32被引用数 8

ひとこと要約

本論文は、勾配ベースのメタ強化学習におけるタスク分布を最適化することでメタ過学習を軽減し一般化性能を向上させるカリキュラム学習手法、Meta-Active Domain Randomization (Meta-ADR) を提案する。難易度の高いタスクを識別するためのディスクリミネータを用い、SVPG（ポリシー勾配を用いたソフトアクタークリティック）の粒子が多様で困難なタスクのセットを提案する。これにより、ナビゲーションおよびロケモーションのベンチマークにおいて、均一なランダムタスクサンプリングと比較して、適応の安定性と性能が顕著に向上する。

ABSTRACT

Gradient-based meta-learners such as Model-Agnostic Meta-Learning (MAML) have shown strong few-shot performance in supervised and reinforcement learning settings. However, specifically in the case of meta-reinforcement learning (meta-RL), we can show that gradient-based meta-learners are sensitive to task distributions. With the wrong curriculum, agents suffer the effects of meta-overfitting, shallow adaptation, and adaptation instability. In this work, we begin by highlighting intriguing failure cases of gradient-based meta-RL and show that task distributions can wildly affect algorithmic outputs, stability, and performance. To address this problem, we leverage insights from recent literature on domain randomization and propose meta Active Domain Randomization (meta-ADR), which learns a curriculum of tasks for gradient-based meta-RL in a similar as ADR does for sim2real transfer. We show that this approach induces more stable policies on a variety of simulated locomotion and navigation tasks. We assess in- and out-of-distribution generalization and find that the learned task distributions, even in an unstructured task space, greatly improve the adaptation performance of MAML. Finally, we motivate the need for better benchmarking in meta-RL that prioritizes extit{generalization} over single-task adaption performance.

研究の動機と目的

• タスク分布への勾配ベースのメタ強化学習の感受性が、メタ過学習、浅い適応、不安定性を引き起こすという問題に対処すること。
• 固定された分布からのランダムサンプリングに依存するのではなく、タスクのカリキュラムを学習することで、メタ強化学習の一般化性能を向上させること。
• メタテスト段階での勾配ステップ後に生じる負の適応や性能の低下を軽減すること。
• 現在のメタ強化学習ベンチマーク評価における欠陥を浮き彫りにすること、特に非一様なタスクサンプリングによるバイアス。
• 分布外一般化を重視する、より良いベンチマーク手法の推進を提唱すること。

提案手法

• Meta-ADRは、事前および事後の適応ロールアウトに基づいてタスクの難易度を推定するディスクリミネータを用い、これを代理報酬として利用する。
• ディスクリミネータの報酬信号により、SVPG（ポリシー勾配を用いたソフトアクタークリティック）の粒子が、メタラーナーの適応に最も困難な多様なタスクを提案する。
• アルゴリズムは、学習されたカリキュラムからタスクを繰り返しサンプリング・評価し、適応の難易度が最も高いタスクに焦点を当てる。
• メタラーナーの適応性能と難易度フィードバックに基づいて進化するカリキュラムに、均一なランダムタスクサンプリングを置き換える。
• タスク分布は勾配更新を介してエンドツーエンド最適化され、これによりメタラーナーはより広範なタスク範囲にわたってより強固に適応できるようになる。
• 本手法は、Active Domain Randomization (ADR) をインspiredしているが、メタ強化学習に適応させるために、メタ一般化を向上させるタスクカリキュラムを学習する点で特徴づけられる。

実験結果

リサーチクエスチョン

• RQ1 タスク分布の選択が、特にメタ過学習と適応安定性の観点でメタ強化学習性能に与える影響は何か？
• RQ2 均一なランダムサンプリングを上回る一般化性能を達成するために、学習されたタスクカリキュラムが勾配ベースのメタ強化学習に与える影響はどの程度か？
• RQ3 Meta-ADRは、メタテスト推論段階におけるメタ強化学習エージェントの負の適応をどの程度軽減できるか？
• RQ4 ベンチマーク環境における非一様なタスクサンプリングが、報告される学習曲線や性能指標に与えるバイアスは何か？
• RQ5 現在のメタ強化学習ベンチマーク手法の実践が、真の一般化能力を評価する上でどのような意味を持つのか？

主な発見

• Meta-ADRは、均一なランダムタスクサンプリングと比較して、複数のシミュレーテッドロケモーションおよびナビゲーションタスクにおいて、適応性能と安定性を顕著に向上させる。
• 学習されたカリキュラムによりメタ過学習が軽減され、メタテスト段階での勾配ステップ後に性能が低下する傾向が減少し、負の適応の事例も減少する。
• Humanoid-Direct-2Dベンチマークでは、Meta-ADRはより高い最終的性能を達成し、特に分布外設定においてタスク間の性能ばらつきが小さくなった。
• ロケモーション速度タスクの評価では、均一サンプリングが容易なタスク（例：v_t = 0）を優遇する傾向があり、真の一般化を反映しない単調な学習曲線を示す。
• ゼロからわずかに離れた速度（例：v_t = 0.5）を持つ分布外タスクの方が、高い速度を持つ分布内タスクよりも優れた性能を示した。これは、現在のベンチマークタスク設計に根本的な欠陥があることを示唆している。
• 本研究は、タスク分布がメタ強化学習における重要なハイパーパrameterであることを示し、Meta-ADRを用いてそれを学習することで、より強固で一般化可能なポリシーが得られることを実証した。