[논문 리뷰] It Takes Four to Tango: Multiagent Selfplay for Automatic Curriculum Generation

Yuqing Du, Pieter Abbeel외 1명|arXiv (Cornell University)|2022. 02. 22.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

이 논문은 두 개의 오프-폴리시 학습자와 두 개의 회귀 최대화 목표 생성기를 활용하여 다양하고 점진적으로 어려워지며 계속해서 재방문되는 목표를 자동으로 생성하는 대칭적 다중에이전트 자기대결 프레임워크인 Curriculum Self Play(CuSP)을 제안한다. CuSP는 최소화-최대화 회귀 최적화를 통해 탐색과 치명적 기억 상실의 균형을 이루며, 분포 외 목표에 대한 제로샷 일반화 성능에서 이전 방법들을 능가한다.

ABSTRACT

We are interested in training general-purpose reinforcement learning agents that can solve a wide variety of goals. Training such agents efficiently requires automatic generation of a goal curriculum. This is challenging as it requires (a) exploring goals of increasing difficulty, while ensuring that the agent (b) is exposed to a diverse set of goals in a sample efficient manner and (c) does not catastrophically forget previously solved goals. We propose Curriculum Self Play (CuSP), an automated goal generation framework that seeks to satisfy these desiderata by virtue of a multi-player game with four agents. We extend the asymmetric curricula learning in PAIRED (Dennis et al., 2020) to a symmetrized game that carefully balances cooperation and competition between two off-policy student learners and two regret-maximizing teachers. CuSP additionally introduces entropic goal coverage and accounts for the non-stationary nature of the students, allowing us to automatically induce a curriculum that balances progressive exploration with anti-catastrophic exploitation. We demonstrate that our method succeeds at generating an effective curricula of goals for a range of control tasks, outperforming other methods at zero-shot test-time generalization to novel out-of-distribution goals.

연구 동기 및 목표

• 일반적인 강화 학습 에이전트를 효율적으로 훈련시켜 다양한 작업을 해결할 수 있도록 하는 도전 과제를 해결하기 위해.
• 진행적인 난이도와 다양성을 균형 잡고 기억 상실을 방지하는 자동 커리큘럼 목표를 생성하기 위해.
• 비대칭 자기대결에서의 샘플 비효율성이나 판별기 의존성 등의 이전 방법의 한계를 극복하기 위해 대칭화된 다중에이전트 프레임워크를 도입하기 위해.
• 에이전트의 학습 진전에 따라 동적으로 적응하는 샘플 효율적이고 확장 가능한 커리큘럼 생성을 가능하게 하기 위해.
• 이중 비대칭 목표 생성기를 통해 목표 생성 과정에서 협력(기초 구조)과 경쟁(도전)을 동시에 구현하기 위해.

제안 방법

• CuSP는 대칭적인 네에이전트 구조를 사용한다: 두 개의 오프-폴리시 목표 조건 강화 학습자(Alice와 Bob)와 각각 하나의 학습자와 대응하는 두 개의 회귀 최대화 목표 생성기(G_A와 G_B).
• 각 목표 생성기는 최소화-최대화 회귀 목적 함수를 최적화한다: G_A는 Alice와 Bob의 보상 차이(R^A - R^B)로 보상받으며, 이는 Bob에게는 어려운데 Alice에게는 가능성이 있는 목표를 제안하도록 유도한다.
• 이 설계는 동적 균형을 만들어내며, G_A는 Bob에게 점진적인 난이도를 제공하면서 동시에 Alice의 학습을 지원하고, 반대로 G_B도 유사한 역할을 하여 다양성과 실현 가능성 모두를 확보한다.
• 에이전트 정책의 비정적 특성을 방지하기 위해 비정적 정책을 고려하고, 목표 공간 커버리지 향상을 위해 엔트로피 정규화를 통합한다.
• 학생 에이전트는 교사가 생성한 목표에서 학습하고, 교사는 상대적 성과에 따라 적응함으로써 자율적인 커리큘럼 진전이 가능하도록 자기대결 루프를 운영한다.
• 목표 생성은 사전에 지정된 목표 공간 내에서 제한되며, 안전성과 타당성을 보장하기 위해 인간의 사전 지식 통합이 가능하다.

실험 결과

연구 질문

• RQ1 대칭적 다중에이전트 자기대결 프레임워크는 목표 조건 강화 학습에서 진행적인 난이도와 목표 다양성을 균형 잡고 자동 커리큘럼을 효과적으로 생성할 수 있는가?
• RQ2 자기대결을 비제로합 설정으로 확장하여, 커리큘럼 생성 과정에서 협력과 경쟁을 동시에 지원할 수 있는가?
• RQ3 최소화-최대화 회귀 기반 목표 생성은 샘플 효율성을 유지하면서 치명적 기억 상실을 어느 정도 완화할 수 있는가?
• RQ4 CuSP는 Asymmetric Self-Play(ASP) 및 GAN 기반 목표 생성과 같은 이전 방법들과 비교해 분포 외 목표에 대한 제로샷 일반화에서 어떻게 성능을 발휘하는가?
• RQ5 CuSP 프레임워크 내에서 다수의 에이전트 상호작용으로부터 어떤 잠재적 행동이나 기술이 유도되는가?

주요 결과

• CuSP는 분포 외 목표에 대한 제로샷 일반화에서 베이스라인 방법들을 능가하며, 다양한 제어 환경에서 뛰어난 일반화 능력을 입증한다.
• 이전에 해결된 목표에 대한 성능 유지가 성공적으로 이루어져, 지속적인 재접촉과 동적 커리큘럼 조정을 통해 치명적 기억 상실이 효과적으로 완화됨을 시사한다.
• CuSP는 다양하고 점차 어려워지는 커리큘럼을 생성하며, 엔트로피 정규화와 대칭적 교사 역학으로 인해 목표 공간 커버리지가 향상된다.
• 명시적 보조 기능 없이도 작업 특화 기술이 유도되며, 이는 자기대결 동역학이 복잡한 행동 탐색을 지원함을 시사한다.
• 실험 결과 CuSP는 ASP 및 기타 커리큘럼 학습 기반 베이스라인 대비 더 높은 샘플 효율성과 더 나은 미리 보지 않은 목표에 대한 성능을 달성한다.
• 제거 실험 결과에서 대칭적 설계와 회귀 기반 목적 함수가 성능에 결정적인 영향을 미치며, 둘 중 하나를 제거하면 성능이 크게 떨어짐을 확인한다.