[논문 리뷰] Emergent Complexity and Zero-shot Transfer via Unsupervised Environment Design

Michael D. Dennis, Natasha Jaques외 5명|arXiv (Cornell University)|2020. 12. 03.

Reinforcement Learning in Robotics참고 문헌 51인용 수 40

한 줄 요약

Unsupervised Environment Design (UED)와 PAIRED 알고리즘을 도입하여 학습 진행도에 의존하는 적대자를 통해 주인공 에이전트를 자동으로 구조화되고 해결 가능한 환경을 생성하고 제로샷 전이 및 출현하는 복잡성을 향상시킵니다.

ABSTRACT

A wide range of reinforcement learning (RL) problems - including robustness, transfer learning, unsupervised RL, and emergent complexity - require specifying a distribution of tasks or environments in which a policy will be trained. However, creating a useful distribution of environments is error prone, and takes a significant amount of developer time and effort. We propose Unsupervised Environment Design (UED) as an alternative paradigm, where developers provide environments with unknown parameters, and these parameters are used to automatically produce a distribution over valid, solvable environments. Existing approaches to automatically generating environments suffer from common failure modes: domain randomization cannot generate structure or adapt the difficulty of the environment to the agent's learning progress, and minimax adversarial training leads to worst-case environments that are often unsolvable. To generate structured, solvable environments for our protagonist agent, we introduce a second, antagonist agent that is allied with the environment-generating adversary. The adversary is motivated to generate environments which maximize regret, defined as the difference between the protagonist and antagonist agent's return. We call our technique Protagonist Antagonist Induced Regret Environment Design (PAIRED). Our experiments demonstrate that PAIRED produces a natural curriculum of increasingly complex environments, and PAIRED agents achieve higher zero-shot transfer performance when tested in highly novel environments.

연구 동기 및 목표

• 비지도 환경 설계(UED)의 문제와 무지 하에서의 의사결정과의 관계를 형식화한다.
• Protagonist Antagonist Induced Regret Environment Design (PAIRED) 알고리즘을 도입한다.
• PAIRED를 갖춘 UED가 출현하는 복잡성과 향상된 제로샷 전이를 산출한다는 것을 입증한다.
• UED를 고전 의사결정 이론과 연결하고 후회(regret) 하에서의 이론적 특성을 제공한다.
• 전이 시나리오에서 PAIRED가 도메인 임의화(domain randomization) 및 minimax 적대적 접근법을 능가한다는 경험적 증거를 제시한다.

제안 방법

• 완전히 지정된 환경을 POMDP로, 자유 매개변수 Θ를 가진 미완전 지정 환경 UPOMDP로 모델링한다.
• Θ 트래젝토리의 분포에 대한 정책으로 맵핑하여 환경 샘플을 생성하는 환경 정책을 정의한다.
• 같은 환경 설정에서 적대자와 주인공 보상의 차이로서의 후회를 도입한다.
• RL 업데이트(알고리즘 1)를 통해 주인공, 적대자, 그리고 환경-적대자를 훈련시켜 후회를 최대화/최소화한다.
• 환경당 다수의 트래젝토리를 사용해 후회를 더 잘 근사하고 적대자 커리큘럼을 유도한다.
• 이론적 속성 증명: minimax 후회가 성공이 가능할 때 성공하는 정책을 산출하고(Nash 평형에 해당하는 정책) 정리 2.

실험 결과

연구 질문

• RQ1 비지도 환경 설계가 학습자의 진행에 맞춘 해결 가능하고 점진적으로 더 어려운 환경의 커리큘럼을 자동으로 생성할 수 있는가?
• RQ2 PAIRED 접근법이 도메인 임의화또는 minimax 적대적 학습에 비해 새로운, 보지 않은 환경에 대한 더 나은 제로샷 전이를 생성하는가?
• RQ3 이 UED 설정에서 minimax 후회의 이론적 보장은 무엇이며 제안된 학습 게임의 Nash 평형과 어떤 관련이 있는가?
• RQ4 PAIRED가 이산 탐색과 연속 제어 작업에서 출현하는 복잡성과 정책 성능에 어떤 영향을 미치는가?

주요 결과

• PAIRED는 에이전트의 학습 진행 상황을 추적하는 점점 더 어려워지는 환경 난이도의 커리큘럼을 생성한다.
• PAIRED로 학습된 에이전트는 DR(domain randomization) 또는 minimax 기준선보다 도전적이고 새로운 환경에 대한 제로샷 전이 성능이 더 높다.
• PAIRED는 점점 더 어려워지고 해결 가능한 미로를 통해 측정된 더 많은 출현적이고 복잡한 행동을 생성한다.
• 연속 제어에서 PAIRED 적대자는 과제를 해결 가능하게 유지하고 보지 않은 환경 매개변수에서 더 강인한 전이를 얻는다.
• 이론적 결과는 minimax 후회를 가능할 때 성공적인 정책과 연결하고 방법을 Nash 평형 개념과 연결한다.