[논문 리뷰] TeachMyAgent: a Benchmark for Automatic Curriculum Learning in Deep RL

Clément Romac, Rémy Portelas외 2명|arXiv (Cornell University)|2021. 03. 17.

Reinforcement Learning in Robotics참고 문헌 60인용 수 4

한 줄 요약

이 논문은 딥 강화 학습에서 자동 커리큘럼 학습(ACL)을 위한 기준 평가 기준인 TeachMyAgent를 소개한다. 이 기준은 Box2D 기반의 이착지 보행자 및 복잡한 파크어웨이 환경과 같은 절차적 환경을 포함한다. 다양한 ACL 알고리즘을 평가한 결과, ALP-GMM와 Covar-GMM가 무작위 작업 선택보다 유의미하게 뛰어난 성능을 보였으며, 파크어웨이 환경는 여전히 현재의 방법으로는 해결하기 어려운 도전 과제로 남아 있다.

ABSTRACT

Training autonomous agents able to generalize to multiple tasks is a key target of Deep Reinforcement Learning (DRL) research. In parallel to improving DRL algorithms themselves, Automatic Curriculum Learning (ACL) study how teacher algorithms can train DRL agents more efficiently by adapting task selection to their evolving abilities. While multiple standard benchmarks exist to compare DRL agents, there is currently no such thing for ACL algorithms. Thus, comparing existing approaches is difficult, as too many experimental parameters differ from paper to paper. In this work, we identify several key challenges faced by ACL algorithms. Based on these, we present TeachMyAgent (TA), a benchmark of current ACL algorithms leveraging procedural task generation. It includes 1) challenge-specific unit-tests using variants of a procedural Box2D bipedal walker environment, and 2) a new procedural Parkour environment combining most ACL challenges, making it ideal for global performance assessment. We then use TeachMyAgent to conduct a comparative study of representative existing approaches, showcasing the competitiveness of some ACL algorithms that do not use expert knowledge. We also show that the Parkour environment remains an open problem. We open-source our environments, all studied ACL algorithms (collected from open-source code or re-implemented), and DRL students in a Python package available at https://github.com/flowersteam/TeachMyAgent.

연구 동기 및 목표

• 딥 강화 학습(DRL)에서 자동 커리큘럼 학습(ACL) 알고리즘을 평가하기 위한 표준화된 기준 평가 기준의 부족을 해결하기 위해.
• 알고리즘 비교 및 발전을 저해하는 작업 공간의 복잡성, 타당성, 일반화성 등의 핵심 과제를 특정하기 위해.
• 공정하고 재현 가능하며 확장 가능한 ACL 방법 평가를 가능하게 하는 절차적 작업 생성을 포함한 통합 기준 평가 기준을 개발하기 위해.
• 다양한 DRL 학습자 모델과 작업 형태에 걸쳐 기존 ACL 알고리즘을 평가하여 성능 격차와 한계를 드러내기 위해.
• 환경, 알고리즘, DRL 학습자를 오픈소스로 공개하여 연구를 가속화하고 공동체 차원의 비교를 촉진하기 위해.

제안 방법

• 두 가지 절차적 환경(단위 테스트 버전이 있는 Box2D 기반의 이착지 보행자 및 여러 ACL 과제를 통합한 새로운 파크어웨이 환경)을 포함한 기준 평가 기준을 설계한다.
• 직접 비교가 가능한 8종의 대표적 ACL 알고리즘(ALP-GMM, Covar-GMM, GoalGAN, RIAC, SPDL, Setter-Solver, ADR, Random)을 구현한다.
• CPPNs를 통한 절차적 콘텐츠 생성(PCG)을 통해 다양하고 확장 가능하며 도전적인 작업 공간을 커리큘럼 학습을 위해 생성한다.
• 모든 ACL 방법을 3종의 DRL 학습자 형태(이착지 보행자, 물고기, 크래이머)와 각 설정당 16개의 랜덤 시드에서 평가하여 통계적 안정성을 확보한다.
• 정기적인 간격으로 웰치의 t-검정을 적용하여 ACL 방법 간의 유의미한 성능 차이를 판단한다.
• 모든 환경, 알고리즘, DRL 모델을 https://github.com/flowersteam/TeachMyAgent에서 Python 패키지로 오픈소스화한다.

실험 결과

연구 질문

• RQ1 표준화된 기준 평가 기준은 딥 RL에서 ACL 알고리즘 평가의 비교 가능성과 재현 가능성을 향상시킬 수 있는가?
• RQ2 다양한 DRL 학습자 아키텍처와 작업 형태에서 어떤 ACL 알고리즘이 가장 우수한 성능을 보이는가?
• RQ3 전문 지식이 없는 ACL 방법이 복잡한 절차적 환경에서 무작위 작업 선택보다 얼마나 뛰어나게 성능을 내는가?
• RQ4 현재의 ACL 방법들이 파크어웨이 환경에서 크래잉킹과 같은 복잡한 이동 과제를 마스터하지 못하는 이유는 무엇인가?
• RQ5 작업 공간을 단순화하면 기존 ACL 알고리즘의 진정한 잠재력을 드러낼 수 있는가?

주요 결과

• ALP-GMM는 모든 형태에서 무작위 작업 선택보다 유의미하게 뛰어나며, 이착지 보행자에서 42.7%의 작업을 마스터했고, 파크어웨이 환경에서 총 26.4%의 작업을 마스터했다.
• Covar-GMM와 RIAC는 ALP-GMM에 가까운 성능을 보였으며, 이착지 보행자에서 각각 35.7%와 31.2%의 작업을 마스터하여 강력한 일반화 능력을 보였다.
• SPDL와 Setter-Solver는 무작위와 유사한 성능을 보였으며, 이착지 보행자에서 각각 30.6%와 28.75%의 작업을 마스터했고, 무작위보다 유의미하게 뛰어나지 못했다.
• ADR는 초기에 성능 포화에 도달하여 이착지 보행자에서 단지 14.7%의 작업을 마스터했으며, 일부 경우에서는 무작위보다도 유의미하게 열 劣했다.
• 물이 없는 단순화된 작업 공간에서 무작위 교사가 6%의 작업(최고 시드에서는 최대 30%)을 마스터한 것으로 나타나, 현재의 ACL 방법들이 복잡한 환경에서 타당한 부분공간을 발견하지 못하고 있음을 시사한다.
• 파크어웨이 환경는 여전히 열려 있는 과제로 남아 있으며, 어떤 ACL 방법도 크래잉킹 형태에서 1% 이상의 마스터율을 달성하지 못했고, 이는 현재의 커리큘럼 탐색 능력의 한계를 보여준다.