[논문 리뷰] From Few to More: Large-scale Dynamic Multiagent Curriculum Learning

Weixun Wang, Tianpei Yang외 7명|arXiv (Cornell University)|2019. 09. 06.

Reinforcement Learning in Robotics참고 문헌 30인용 수 8

한 줄 요약

이 논문은 대규모 다에이전트 시스템에서 에이전트 수를 점진적으로 증가시키며 학습하는 데 중점을 두는 새로운 프레임워크인 동적 다에이전트 커리큘럼 학습(DyMA-CL)을 제안한다. 버퍼 재사용, 커리큘럼 증류, 모델 재로드라는 세 가지 전이 메커니즘과 가변 입력 크기를 처리하기 위한 동적 에이전트 수 네트워크(DyAN)를 도입함으로써, 스타크래프트 II와 MAgent 환경에서 최신 딥 강화학습 방법에 비해 학습 효율성과 성능을 크게 향상시킨다.

ABSTRACT

A lot of efforts have been devoted to investigating how agents can learn effectively and achieve coordination in multiagent systems. However, it is still challenging in large-scale multiagent settings due to the complex dynamics between the environment and agents and the explosion of state-action space. In this paper, we design a novel Dynamic Multiagent Curriculum Learning (DyMA-CL) to solve large-scale problems by starting from learning on a multiagent scenario with a small size and progressively increasing the number of agents. We propose three transfer mechanisms across curricula to accelerate the learning process. Moreover, due to the fact that the state dimension varies across curricula,, and existing network structures cannot be applied in such a transfer setting since their network input sizes are fixed. Therefore, we design a novel network structure called Dynamic Agent-number Network (DyAN) to handle the dynamic size of the network input. Experimental results show that DyMA-CL using DyAN greatly improves the performance of large-scale multiagent learning compared with state-of-the-art deep reinforcement learning approaches. We also investigate the influence of three transfer mechanisms across curricula through extensive simulations.

연구 동기 및 목표

• 에이전트 수가 증가함에 따라 상태-행동 공간과 환경의 역학이 기하급수적으로 증가하는 대규모 다에이전트 시스템에서의 학습 과제를 해결한다.
• 고정된 입력 크기를 갖는 신경망 아키텍처의 한계를 극복하기 위해 커리큘럼 학습에서 다양한 에이전트 수에 대응하는 동적 입력 크기 적응 기능을 제공한다.
• 점차적으로 복잡도가 증가하는 훈련 커리큘럼을 통해 체계적인 지식 전이를 통해 다에이전트 강화학습의 속도를 가속화한다.
• 복잡한 다에이전트 시스템 환경에서 협업과 성능을 향상시키는 확장 가능하고 동적인 커리큘럼 훈련 프레임워크를 설계하고 검증한다.

제안 방법

• 10 대 10에서 50 대 50에 이르는 에이전트 수를 점진적으로 증가시키며 훈련하는 동적 다에이전트 커리큘럼 학습(DyMA-CL)을 제안한다.
• 세 가지 전이 메커니즘을 도입한다: 버퍼 재사용(커리큘럼 간 경험 재현 버퍼 공유), 커리큘럼 증류(큰 커리큘럼에서 작은 커리큘럼으로 지식 증류), 모델 재로드(사전 훈련된 모델로 재초기화).
• 에이전트 수에 따라 변하는 입력 크기를 동적으로 처리할 수 있도록 그래프 신경망 기반 아키텍처인 동적 에이전트 수 네트워크(DyAN)를 설계한다.
• 에이전트 수가 다른 다섯 가지의 서로 다른 작업을 포함하는 커리큘럼 스케줄을 사용하여 훈련 복잡도를 점진적으로 증가시킨다.
• 두 가지 벤치마크 환경에 DyMA-CL을 적용한다: 스타크래프트 II(실시간 전략 게임)와 MAgent(최대 수백만 명의 에이전트를 포함하는 대규모 다에이전트 시뮬레이션).
• 독립형 딥 강화학습 알고리즘(IQL, PPO, A2C, ACER)을 사용하여 커리큘럼 학습 유무를 비교함으로써 제안된 프레임워크의 영향을 고립적으로 평가한다.

실험 결과

연구 질문

• RQ1 에이전트 수를 점진적으로 증가시키는 커리큘럼 학습 접근법이 대규모 다에이전트 시스템에서 학습 효율성과 성능 향상에 기여하는가?
• RQ2 버퍼 재사용, 커리큘럼 증류, 모델 재로드와 같은 전이 메커니즘이 수렴 속도 향상과 최종 성능 향상에 얼마나 효과적인가?
• RQ3 에이전트 수 변화로 인한 가변 입력 크기를 동적으로 적응할 수 있는 신경망 아키텍처가 커리큘럼 학습에서 효과적인가?
• RQ4 DyMA-CL은 대규모 다에이전트 환경에서 표준 딥 강화학습 베이스라인에 비해 얼마나 높은 정량적 성능 향상을 이룰 수 있는가?

주요 결과

• DyMA-CL의 모델 재로드 메커니즘을 적용한 50 대 50 MAgent 시나리오에서는 A2C 기준 평균 처치 수 38.25 ± 7.33과 생존 동료 수 44.59 ± 9.17을 기록하여 최종 성능이 크게 향상되었다.
• 50 대 50 스타크래프트 II 시나리오에서 DyMA-CL의 모델 재로드 기반 훈련은 A2C 기준 최대 처치 수 47.71 ± 5.61과 평균 생존 동료 수 43.77 ± 10.36를 기록하여 초기 훈련보다 뛰어난 성능을 보였다.
• DyMA-CL은 IQL, PPO, A2C, ACER 등 다양한 알고리즘 전반에서 성능 향상을 보였으며, 커리큘럼을 적용한 경우 평균 처치 수와 생존 비율이 모두 향상되었다.
• 정책 불안정성으로 인해 비정적 환경에서 어려움을 겪는 ACER의 경우에도 DyMA-CL은 성능 향상을 이끌어내어 50 대 50 MAgent 작업에서 평균 처치 수 9.67 ± 3.68을 기록했다.
• DyAN 네트워크는 다양한 에이전트 수를 가진 커리큘럼 간 효과적인 학습을 가능하게 하여 고정 입력 크기를 갖는 신경망 아키텍처의 한계를 극복했다.
• 제거 실험 결과, 버퍼 재사용, 커리큘럼 증류, 모델 재로드의 세 가지 전이 메커니즘이 모두 성능 향상에 기여하며, 특히 모델 재로드가 가장 뚜렷한 개선 효과를 보였다.