[論文レビュー] Emergent Complexity and Zero-shot Transfer via Unsupervised Environment Design

Michael D. Dennis, Natasha Jaques+5 more|arXiv (Cornell University)|Dec 3, 2020

Reinforcement Learning in Robotics参考文献 51被引用数 40

ひとこと要約

Unsupervised Environment Design (UED) と PAIRED アルゴリズムを導入し、学習進捗に依存する対立者を通じてカリキュラム学習する構造化され解ける環境を自動生成する。これにより、ゼロショット転送と出現的な複雑性を向上させる。

ABSTRACT

A wide range of reinforcement learning (RL) problems - including robustness, transfer learning, unsupervised RL, and emergent complexity - require specifying a distribution of tasks or environments in which a policy will be trained. However, creating a useful distribution of environments is error prone, and takes a significant amount of developer time and effort. We propose Unsupervised Environment Design (UED) as an alternative paradigm, where developers provide environments with unknown parameters, and these parameters are used to automatically produce a distribution over valid, solvable environments. Existing approaches to automatically generating environments suffer from common failure modes: domain randomization cannot generate structure or adapt the difficulty of the environment to the agent's learning progress, and minimax adversarial training leads to worst-case environments that are often unsolvable. To generate structured, solvable environments for our protagonist agent, we introduce a second, antagonist agent that is allied with the environment-generating adversary. The adversary is motivated to generate environments which maximize regret, defined as the difference between the protagonist and antagonist agent's return. We call our technique Protagonist Antagonist Induced Regret Environment Design (PAIRED). Our experiments demonstrate that PAIRED produces a natural curriculum of increasingly complex environments, and PAIRED agents achieve higher zero-shot transfer performance when tested in highly novel environments.

研究の動機と目的

• Unsupervised Environment Design (UED) の問題と、それが未知性のもとでの意思決定とどのように関連するかを形式化する。
• Protagonist Antagonist Induced Regret Environment Design (PAIRED) アルゴリズムを紹介する。
• UED と PAIRED の組み合わせが出現的な複雑さとゼロショット転送の改善を生み出すことを示す。
• UED を古典的決定理論と結びつけ、後悔（regret）に基づく理論的性質を提供する。
• 転送シナリオにおいて、PAIRED が domain randomization および minimax adversarial アプローチより優れていることを経験的に示す。

提案手法

• 完全に特定された環境を POMDPs、欠如仕様の環境 (UPOMDPs) を自由パラメータ Θ でモデル化する。
• Θ の軌道の分布へポリシーを写像する環境ポリシーを定義し、環境サンプルを生成する。
• 同一環境設定における対立者と主人公の報酬差を後悔（regret）として導入する。
• RL 更新（Algorithm 1）を通じて、主人公、対立者、環境アドバーサリーを訓練し、後悔を最大化/最小化する。
• 各環境につき複数の軌道を用いて後悔をより良く近似し、敵対学習カリキュラムを導く。
• 理論的性質を証明する：minimax-regret が成功が可能なときに成功するポリシーをもたらす（定理1）、Nash均衡がminimax regret ポリシーに対応する（定理2）。

実験結果

リサーチクエスチョン

• RQ1 学習者の進度に合わせて、解ける要素を持つ、徐々に難しくなる環境のカリキュラムを自動的に生成することができるだろうか？
• RQ2 domain randomization や minimax adversarial training と比較して、PAIRED アプローチは新規で未知の環境へのゼロショット転送をより改善できるか？
• RQ3 この UED 設定における minimax regret の理論的保証は何か、そして提案された訓練ゲームにおける Nash 均衡とどう関係するか？
• RQ4 離散ナビゲーションと連続制御タスクの両方で、PAIRED が出現的な複雑さと方策性能にどう影響するか？

主な発見

• PAIRED はエージェントの学習進捗を追跡する、環境難易度が徐々に増すカリキュラムを生成する。
• PAIRED で訓練されたエージェントは、挑戦的で新規の環境へのゼロショット転送性能が、DR または minimax ベースラインより高い。
• PAIRED は、解ける迷路の難易度を段階的に上げることで、より出現的で複雑な挙動を生成する。
• 連続制御では、PAIRED のアドバーサリーがタスクを解ける状態に保ち、未知の環境パラメータ下でより堅牢な転送を生む。
• 理論的な結果は、minimax regret を成功可能なときに成功するポリシーに結びつけ、アプローチを Nash 均衡の概念へ結びつける。