[논문 리뷰] Meta Automatic Curriculum Learning

Rémy Portelas, Clément Romac외 2명|arXiv (Cornell University)|2020. 11. 16.

Intelligent Tutoring Systems and Adaptive Learning참고 문헌 49인용 수 5

한 줄 요약

이 논문은 이전에 훈련된 에이전트의 히스토리컬 훈련 데이터를 활용하여 다양한 강화학습(RL) 에이전트 간에 커리큘럼 생성을 일반화할 수 있도록 돕는 Meta Automatic Curriculum Learning (Meta-ACL) 프레임워크를 소개한다. 능력 벡터 매칭을 통해 커리큘럼 사전 지식을 전이함으로써, 제안된 방법 AGAIN은 복잡한 절차적 환경인 파라미터화된 퍼포먼스 테스크와 같은 환경에서 기존의 ACL보다 뚜렷이 뛰어난 성능을 내며, 도전적인 설정에서 거의 온라인 성능을 달성한다.

ABSTRACT

A major challenge in the Deep RL (DRL) community is to train agents able to generalize their control policy over situations never seen in training. Training on diverse tasks has been identified as a key ingredient for good generalization, which pushed researchers towards using rich procedural task generation systems controlled through complex continuous parameter spaces. In such complex task spaces, it is essential to rely on some form of Automatic Curriculum Learning (ACL) to adapt the task sampling distribution to a given learning agent, instead of randomly sampling tasks, as many could end up being either trivial or unfeasible. Since it is hard to get prior knowledge on such task spaces, many ACL algorithms explore the task space to detect progress niches over time, a costly tabula-rasa process that needs to be performed for each new learning agents, although they might have similarities in their capabilities profiles. To address this limitation, we introduce the concept of Meta-ACL, and formalize it in the context of black-box RL learners, i.e. algorithms seeking to generalize curriculum generation to an (unknown) distribution of learners. In this work, we present AGAIN, a first instantiation of Meta-ACL, and showcase its benefits for curriculum generation over classical ACL in multiple simulated environments including procedurally generated parkour environments with learners of varying morphologies. Videos and code are available at https://sites.google.com/view/meta-acl .

연구 동기 및 목표

• 대규모이고 연속적인 작업 공간에서 다수의 RL 에이전트를 훈련할 때, 테이블라사 Automatic Curriculum Learning(ACL)의 비효율성을 해결하기 위해.
• 전문 지식이나 고비용 작업 공간 탐색에 의존하는 것을 줄이기 위해 이전에 훈련된 에이전트로부터의 지식을 재사용하기 위해.
• 단일 교사가 알 수 없는 학습자 분포에 맞는 맞춤형 커리큘럼을 생성하는 새로운 학습 패러다임인 '클래스룸 테이칭(Classroom Teaching, CT)'을 체계화하기 위해.
• 다양한 능력을 지닌 에이전트 간에 일반화할 수 있도록 ACL 알고리즘에 메타학습 접근법을 개발하기 위해.
• 과거 훈련 런에서 유래한 커리큘럼 사전 지식을 전이하여, 다중 작업 및 절차적 RL 환경에서 샘플 효율성과 최종 성능을 향상시키기 위해.

제안 방법

• 이 방법은 블랙박스 RL 학습자 분포 전반에 걸쳐 커리큘럼 생성을 일반화하는 프레임워크로 Meta-ACL를 체계화한다.
• 이것은 Meta-ACL의 첫 번째 구현체인 AGAIN을 도입하며, 사전 테스트에서 추출한 능력 벡터를 사용하여 새로운 에이전트를 이전에 효과적이었던 커리큘럼 사전 지식과 매칭한다.
• 능력 벡터는 전체 훈련 전에 다양한 작업 세트에서 각 에이전트의 성능에서 계산된다.
• 과거의 에이전트에서 성능이 뛰어난 커리큘럼 전략을 능력 벡터 유사도 기반으로 가장 유사한 사전 지식을 선택하여 재사용한다.
• 고전적 ACL(예: ALP-GMM)과 과거 훈련 데이터로부터의 인덕티브 바이어스를 조합함으로써 더 빠른 수렴과 더 나은 일반화를 가능하게 한다.
• 재훈련 및 파인튜닝 모두를 지원하며, 추론 실험을 통해 커리큘럼 전이 전략이 무작위 또는 고정 전략보다 유의미한 이점을 제공하는 것으로 나타났다.

실험 결과

연구 질문

• RQ1 다양한 형태와 능력을 지닌 다수의 RL 에이전트 간에 교사 에이전트가 커리큘럼 생성을 일반화할 수 있는가?
• RQ2 이전에 훈련된 에이전트로부터 커리큘럼 사전 지식을 재사용하면, 테이블라사 ACL에 비해 샘플 효율성과 최종 성능이 향상되는가?
• RQ3 Meta-ACL은 파라미터화된 퍼포먼스 테스크와 같은 복잡한 절차적 생성 환경에서 어떻게 성능을 내는가?
• RQ4 Meta-ACL의 성능 향상은 재훈련에서 시작하는 것과 파인튜닝을 포함한 다양한 훈련 제도에서 유의미한가?
• RQ5 Meta-ACL는 전문 지식이나 광범위한 작업 공간 탐색에 대한 의존도를 어느 정도 줄일 수 있는가?

주요 결과

• 짧은 BipedalWalker 환경에서 AGAIN-R는 평균 성능 19.0 ± 12.0을 기록했으며, 이는 온라인 성능(20.1 ± 3.4, p = 0.6)과 통계적으로 유의미한 차이가 없었고, 거의 최적의 성능을 의미한다.
• AGAIN-P는 기본 BipedalWalker 환경에서 평균 성능 44.3 ± 3.5를 기록하여 ALP-GMM(38.6 ± 3.5, p < 0.05)를 뚜렷이 앞서며 최고의 성능을 기록했다.
• 모든 변종에서 재훈련이 파인튜닝보다 더 높은 최종 성능을 보였으며, 이는 이 설정에서 기울기 기반 전이 학습의 취약성을 보여준다.
• 기본 워커 실험에서 ALP-GMM과 IN을 조합하는 것은 유해했지만, 짧은 워커 작업에서는 필수적이었으며, 이로써 AGAIN-R가 모든 다른 변종을 앞서는 성능을 내었다.
• IN-P 변종는 과거 훈련에서 유래한 인덕티브 바이어스만을 사용했지만, 기본 워커 작업에서 최고의 성능을 기록했으며, 이는 커리큘럼 사전 지식 자체만으로도 매우 효과적일 수 있음을 시사한다.
• 가장 도전적인 짧은 워커 설정에서 AGAIN-R는 평균 성능 19.0을 기록했으며, ALP-GMM(10.2 ± 11.5) 및 기타 베이스라인을 뚜렷이 앞서며, 메타학습된 커리큘럼 전이의 가치를 입증했다.