[논문 리뷰] TiZero: Mastering Multi-Agent Football with Curriculum Learning and Self-Play

Fanqi Lin, Shi‐Yu Huang외 3명|arXiv (Cornell University)|2023. 02. 15.

Sports Analytics and PerformanceEconomics, Econometrics and Finance인용 수 3

한 줄 요약

TiZero는 적응형 커리큘럼 학습, 새로운 케이스-일반화 자가대결 전략, 공동 정책 최적화를 활용하여 전문가 지시 없이도 11 대 11 Google Research Football 환경을 완전히 습득하는 자기진화형 다에이전트 강화학습 시스템을 도입한다. 이는 이전 방법보다 승률이 30퍼센트 이상 높으며, 복잡한 다에이전트 환경에서 뛰어난 협업 능력과 전략적 계획 수립 능력을 입증한다.

ABSTRACT

Multi-agent football poses an unsolved challenge in AI research. Existing work has focused on tackling simplified scenarios of the game, or else leveraging expert demonstrations. In this paper, we develop a multi-agent system to play the full 11 vs. 11 game mode, without demonstrations. This game mode contains aspects that present major challenges to modern reinforcement learning algorithms; multi-agent coordination, long-term planning, and non-transitivity. To address these challenges, we present TiZero; a self-evolving, multi-agent system that learns from scratch. TiZero introduces several innovations, including adaptive curriculum learning, a novel self-play strategy, and an objective that optimizes the policies of multiple agents jointly. Experimentally, it outperforms previous systems by a large margin on the Google Research Football environment, increasing win rates by over 30%. To demonstrate the generality of TiZero's innovations, they are assessed on several environments beyond football; Overcooked, Multi-agent Particle-Environment, Tic-Tac-Toe and Connect-Four.

연구 동기 및 목표

• 전문가 지시 없이도 복잡한 11 대 11 Google Research Football 환경에서 강력한 다에이전트 정책을 훈련하는 데 도전한다.
• 다에이전트 강화학습의 핵심 과제인 다에이전트 간 협업, 장기적 계획 수립, 희박한 보상, 비순환적 역학을 극복한다.
• 경쟁적이고 확률적인 환경에서 10명의 외선 수비수들이 효과적으로 협업할 수 있도록 가능한 확장성 있고 분산된 훈련 프레임워크를 개발한다.
• Overcooked, MPE, 틱택토, Connect-Four에서의 평가를 통해 이 방법론의 일반화 능력을 입증한다.
• 커리큘럼 학습과 새로운 자가대결 전략을 조합하여 정책 다양성과 내구성을 향상시키는 방식으로 11 대 11 모드에서 최신 기준 성능을 달성한다.

제안 방법

• 다양한 에이전트를 동시에 훈련시켜 협업 능력과 공동 정책 성능을 향상시키는 공동 정책 최적화 목표를 도입한다.
• 환경의 복잡성을 점진적으로 증가시켜 훈련 안정성 향상과 정책 수렴 속도 향상을 도모하는 적응형 커리큘럼 학습을 적용한다.
• 더 강력한 상대와 다양한 일반화 가능한 정책을 번갈아 훈련시켜 내구성을 향상시키는 케이스-일반화 자가대결 전략을 설계한다.
• 동적으로 진화하는 자가대결 상대 풀을 활용하여 에이전트가 다양한 전략을 경험하고 과적합을 줄인다.
• 중앙 집중적 훈련과 분산 실행(CTDE) 파라다임을 적용하여 효율적인 다에이전트 신용 할당과 정책 최적화를 가능하게 한다.
• 공유 인코더 헤드와 개별 가치 헤드를 갖춘 딥 네ural 네트워크 아키텍처를 활용하여 파rameter 효율성과 정책 특화성의 균형을 이룬다.

Figure 1. Screenshot of Google Research Football. TiZero’s agents outperform previous systems by leveraging more coordinated strategies, such as passing more often and creating more assists.

실험 결과

연구 질문

• RQ1 전문가 지시 없이도 다에이전트 강화학습 시스템이 11 대 11 Google Research Football 환경에서 초인적 성능을 달성할 수 있는가?
• RQ2 적응형 커리큘럼 학습은 복잡한 다에이전트 환경에서 훈련 안정성과 샘플 효율성을 어떻게 향상시키는가?
• RQ3 표준 자가대결과 비교해 케이스-일반화 자가대결 전략이 정책 다양성과 내구성을 얼마나 향상시키는가?
• RQ4 공동 정책 최적화 목표는 다에이전트 간 협업과 장기적 전략적 계획 수립을 얼마나 향상시킬 수 있는가?
• RQ5 제안된 방법론적 혁신들은 축구 외의 다양한 다에이전트 환경으로 일반화 가능한가?

주요 결과

• TiZero는 이전 방법보다 11 대 11 Google Research Football 환경에서 승률이 30퍼센트 이상 향상되었으며, 골 득점 차수에서도 뚜렷한 개선을 보였다.
• 이전 베이스라인 대비 더 높은 패assing 빈도와 어시스트 생성 능력을 보이며 뛰어난 협업 능력을 입증했다.
• 케이스-일반화 자가대결 전략은 틱택토에서 다양성 지수 8.11을 기록하여 베이스라인(6.65–7.19)을 능가했으며, 더 다양한 정책과 내구성 있는 상대 정책을 생성함을 시사한다.
• 10명의 GFootball 설정에서 MAPPO 대비 GPU 메모리 소비를 38퍼센트 감소시켜(121 GB 대비 196 GB) 더 뛰어난 확장성을 입증했다.
• 다양한 환경 평가에서 TiZero는 Overcooked, MPE, 틱택토, Connect-Four에서 최신 기준 방법을 능가하거나 동등하게 성과를 냈으며, 방법론의 일반화 능력을 확인했다.
• 훈련 곡선 분석 결과, TiZero는 모든 벤치마크에서 MAPPO, MAT, QMIX보다 더 빠르게 수렴하고 더 높은 최종 성능를 달성했으며, 벽시계 기준 훈련 시간도 단축시켰다.

Figure 2. TiZero’s network architecture. Six types of information are required as input: the controlled player information, player ID, ball information, teammate information, opponent information and current match information. We use six separate MLPs with two (one for the ”player ID”) fully-connect