[논문 리뷰] Evolutionarily-Curated Curriculum Learning for Deep Reinforcement Learning Agents

Michael Cerny Green, Benjamin Sergent외 2명|arXiv (Cornell University)|2019. 01. 16.

Reinforcement Learning in Robotics참고 문헌 12인용 수 4

한 줄 요약

이 논문은 진화 알고리즘을 사용하여 DQN 에이전트의 손실을 최대화함으로써 약점을 노출시키고 극복하도록 유도하는, 진화적으로 총괄된 커리큘럼 학습(ECCL)을 제안한다. 이 방법은 학습 속도를 가속화하고 일반화 능력을 향상시키며, 랜덤 지도에서 학습한 에이전트조차도 훨씬 더 오랜 학습 시간 이후에 비해 더 뛰어난 성능을 보인다.

ABSTRACT

In this paper we propose a new training loop for deep reinforcement learning agents with an evolutionary generator. Evolutionary procedural content generation has been used in the creation of maps and levels for games before. Our system incorporates an evolutionary map generator to construct a training curriculum that is evolved to maximize loss within the state-of-the-art Double Dueling Deep Q Network architecture with prioritized replay. We present a case-study in which we prove the efficacy of our new method on a game with a discrete, large action space we made called Attackers and Defenders. Our results demonstrate that training on an evolutionarily-curated curriculum (directed sampling) of maps both expedites training and improves generalization when compared to a network trained on an undirected sampling of maps.

연구 동기 및 목표

• 딥 강화학습 학습에서 무작위 샘플링의 비효율성을 해결하기 위해.
• 방향성 있고 적응적인 커리큘럼 생성을 통해 딥 RL 에이전트의 일반화 능력 향상과 수렴 가속화를 위해.
• 진화된 학습 콘텐츠를 통해 네트워크의 약점을 동적으로 식별하고 대상으로 삼는 방법을 개발하기 위해.
• 대규모 이산 행동 공간을 가진 사용자 정의 게임 환경에서 진화적으로 총괄된 커리큘럼의 효과를 평가하기 위해.

제안 방법

• 진화 알고리즘이 에이전트의 손실을 최대화하는 지도를 생성하여, 높은 난이도 또는 네트워크의 약점을 나타내도록 한다.
• 손실은 우선순위 경험 재현 기반 더블 딜링 DQN을 사용하여 계산되며, 안정적이고 효율적인 학습을 보장한다.
• 에이전트의 성능에 따라 커리큘럼이 동적으로 업데이트되며, 학습 결함을 드러내는 지도에 집중한다.
• 에이전트 학습과 손실 기반 지도 진화 사이를 번갈아 실행함으로써 피드백 루프를 형성한다.
• 진화적 생성기는 일반화 가능하며, 도메인 특화 튜닝 없이도 게임 파라미터와 손실 함수만 필요하다.
• 혼합 학습 조건은 진화된 지도와 무작위로 생성된 지도를 혼합하여 일반화 능력을 테스트하며, 지도의 기원에 대한 과적합 가능성을 드러낸다.

실험 결과

연구 질문

• RQ1 진화적 생성기가 딥 강화학습 학습을 가속화하는 커리큘럼을 생성할 수 있는가?
• RQ2 진화적으로 총괄된 지도에서 학습하는 것이 랜덤 샘플링보다 일반화 능력 향상에 기여하는가?
• RQ3 진화된 지도와 무작위로 생성된 지도의 혼합에서 학습할 경우 어떤 결과가 나타나는가?
• RQ4 에이전트가 진화된 지도와 구축된 지도를 구분할 수 있으며, 이는 성능에 악영향을 미치는가?
• RQ5 진화적 생성기의 손실 기반 적합도 함수가 커리큘럼 품질과 에이전트 성능에 어떤 영향을 미치는가?

주요 결과

• 완전히 진화된 커리큘럼으로 학습한 네트워크는 1,600장의 지도 이후 최고 점수 22.14를 기록했으며, 이는 무작위로 학습한 네트워크보다 뚜렷이 뛰어나다.
• 무작위로 학습한 네트워크는 6,800장의 지도 이후에도 점수 20.83을 초과하지 못했으며, 이는 랜덤 샘플링 하에서 일반화 능력이 열악함을 시사한다.
• 혼합 네트워크는 진화된 지도와 구축된 지도의 조합으로 학습하여 최고 점수 20.22를 기록했으며, 손실이 지속적으로 높은 편(10–14)을 유지해 일반화 능력이 열악함을 보였다.
• 혼합 네트워크는 지도 기원을 구분하는 법을 배워 과적합이 발생했으며, 테스트 세트에서 성능이 저하되었다.
• 완전한 네트워크는 초기 50장의 지도 이후로는 오직 진화된 지도만으로 학습했으며, 무작위로 생성된 테스트 지도에 대해 효과적으로 일반화되었고, 강력한 전이 학습 능력을 보였다.
• 진화적 생성기의 적합도 함수는 에이전트의 손실 기반으로 설계되어 네트워크의 약점을 효과적으로 식별하고 대상으로 삼아 학습 효율성과 성능 향상에 기여했다.