[논문 리뷰] Enhanced POET: Open-Ended Reinforcement Learning through Unbounded Invention of Learning Challenges and their Solutions

Rui Wang, Joel Lehman외 5명|arXiv (Cornell University)|2020. 03. 19.

Reinforcement Learning in Robotics참고 문헌 61인용 수 43

한 줄 요약

향상된 POET는 도메인 일반성 노이볼티 측정, 효율적 목표 전환, CPPN 기반 환경 인코딩, 그리고 ANNECS(progress)와 같은 새로운 개방형 진보 지표를 도입하여 더 강한 개방형 강화학습을 보여준다.

ABSTRACT

Creating open-ended algorithms, which generate their own never-ending stream of novel and appropriately challenging learning opportunities, could help to automate and accelerate progress in machine learning. A recent step in this direction is the Paired Open-Ended Trailblazer (POET), an algorithm that generates and solves its own challenges, and allows solutions to goal-switch between challenges to avoid local optima. However, the original POET was unable to demonstrate its full creative potential because of limitations of the algorithm itself and because of external issues including a limited problem space and lack of a universal progress measure. Importantly, both limitations pose impediments not only for POET, but for the pursuit of open-endedness in general. Here we introduce and empirically validate two new innovations to the original algorithm, as well as two external innovations designed to help elucidate its full potential. Together, these four advances enable the most open-ended algorithmic demonstration to date. The algorithmic innovations are (1) a domain-general measure of how meaningfully novel new challenges are, enabling the system to potentially create and solve interesting challenges endlessly, and (2) an efficient heuristic for determining when agents should goal-switch from one problem to another (helping open-ended search better scale). Outside the algorithm itself, to enable a more definitive demonstration of open-endedness, we introduce (3) a novel, more flexible way to encode environmental challenges, and (4) a generic measure of the extent to which a system continues to exhibit open-ended innovation. Enhanced POET produces a diverse range of sophisticated behaviors that solve a wide range of environmental challenges, many of which cannot be solved through other means.

연구 동기 및 목표

• 무한한 학습 도전을 생성하고 해결함으로써 개방형 강화학습을 진전시킨다.
• 환경 발명을 안내하기 위한 도메인 일반성 노이볼티 지표를 개발한다(수작업 인코딩을 넘어서는).
• 환경 간 해법 전이를 더 효율적으로 만들어 확장 가능한 개방형 탐색을 지속 가능하게 한다.
• 더 표현력이 높은 환경 인코딩을 도입하여 다양하고 복잡한 환경을 생성한다.
• 연속적인 혁신을 추적하기 위한 정량적 개방형 진보 지표(ANNECS)를 제안하고 검증한다.

제안 방법

• 모든 에이전트의 성능이 환경 전반에서 어떻게 나타나는지 정량화하기 위해 PATA-EC(Performance of All Transferred Agents Environment Characterization)를 도입한다.
• 도메인 특정 노이볼티를 도메인 일반 거리 지표로 대체하고, 거리의 노멀라이즈와 유클리드 거리를 노이볼티 평가에 사용한다.
• 전이의 소음을 줄이고 계산을 최적화하기 위해 최근 5개 임계 점수의 최댓값을 넘어야 전이를 허용하도록 전이 메커니즘을 개선한다.
• 핸드-크래프된 장애물을 넘어 더 복잡하고 다양한 풍경을 생성하기 위해 NEAT를 통해 CPPN 기반 환경 인코딩을 채택한다.
• ANNECS(Accumulated Number of Novel Environments Created and Solved)를 사용하여 실행 동안 지속적인 개방형 진보를 측정한다.
• CPP N 기반 인코딩으로 Enhanced POET를 2차원 이족 보행 도메인에서 시연하고, 다양성, 전이 효율성, 개방형성 지표를 평가한다.

실험 결과

연구 질문

• RQ1 도메인 일반 노이볼티 측정(PATA-EC)이 도메인 간 의미 있고 다양한 환경의 생성을 효과적으로 안내할 수 있는가?
• RQ2 향상된 전이 메커니즘이 계산량을 줄이면서 해법 발견을 유지하거나 개선하는가?
• RQ3 CPPN 기반 환경 인코딩이 핸드 크래프드 인코딩보다 더 풍부하고 다양한 개방형 환경을 가능하게 하는가?
• RQ4 ANNECS 지표가 Enhanced POET의 지속적인 개방형 진보를 신뢰성 있게 반영하는가?
• RQ5 향상된 POET가 더 표현력 있는 도메인에서 원래 POET를 넘어 개방형 학습을 어느 정도까지 시연할 수 있는가?

주요 결과

• PATA-EC는 도메인 일반적 환경 노이볼티를 가능하게 하며, 테스트 도메인에서 핸드 크래프드 노이볼티와 비슷한 다양성을 달성하면서 ES 단계에서 약 82%의 계산 증가를 보인다.
• 향상된 전이 전략은 원래 POET의 비용의 약 79.7%로 계산량을 감소시키면서도 다양성과 문제 해결 능력을 유지한다.
• CPPN 기반 환경 인코딩은 핸드 크래프드 인코딩보다 질적으로 더 풍부한 환경을 만들어 다양한 장애물 구성의 폭넓은 구성을 형성한다.
• JCPPN 기반 인코딩을 사용한 Enhanced POET은 깊고 계층적으로 중첩된 환경 계통을 보여 주며 개방형 탐색을 시사한다.
• 대조 실험에서 POET-해결 가능 환경은 스스로 생성된 커리큘럼을 필요로 하고, 직접 최적화 및 수동 커리큘럼은 POET의 암시적 커리큘럼보다 성능이 떨어진다.
• ANNECS는 시간이 지남에 따라 증가하며 실행 간 새로운 환경의 지속적 생성과 해결을 시사한다.