[논문 리뷰] TiKick: Towards Playing Multi-agent Football Full Games from Single-agent Demonstrations

Shiyu Huang, Wenze Chen외 7명|arXiv (Cornell University)|2021. 10. 09.

Sports Analytics and Performance참고 문헌 40인용 수 8

한 줄 요약

TiKick는 Google Research Football에서 단일 에이전트 전문가 시연 데이터로부터 종단 간 오프라인 강화학습 프레임워크를 제안한다. 자가 플레이를 통해 생성된 대규모 리プレイ 데이터셋과 새로운 알고리즘 구성 요소를 갖춘 분산 오프라인 학습 파이프라인을 활용하여, 전체 게임 플레이에서 최고 수준의 성능을 달성하고, 더 낮은 샘플 복잡도로 후행 다중에이전트 RL 학습을 가속화한다.

ABSTRACT

Deep reinforcement learning (DRL) has achieved super-human performance on complex video games (e.g., StarCraft II and Dota II). However, current DRL systems still suffer from challenges of multi-agent coordination, sparse rewards, stochastic environments, etc. In seeking to address these challenges, we employ a football video game, e.g., Google Research Football (GRF), as our testbed and develop an end-to-end learning-based AI system (denoted as TiKick) to complete this challenging task. In this work, we first generated a large replay dataset from the self-playing of single-agent experts, which are obtained from league training. We then developed a distributed learning system and new offline algorithms to learn a powerful multi-agent AI from the fixed single-agent dataset. To the best of our knowledge, Tikick is the first learning-based AI system that can take over the multi-agent Google Research Football full game, while previous work could either control a single agent or experiment on toy academic scenarios. Extensive experiments further show that our pre-trained model can accelerate the training process of the modern multi-agent algorithm and our method achieves state-of-the-art performances on various academic scenarios.

연구 동기 및 목표

• Google Research Football(GRF)와 같은 복잡하고 보상이 희박하며 확률적인 환경에서 다중에이전트 간 협력 문제를 해결한다.
• 이전 연구에서 단일 에이전트 제어나 단순화된 학술 시나리오에서만 작동하는 한계를 극복한다.
• 단일 에이전트 전문가의 오프라인 데이터만을 사용하여 전체 11명의 플레이어를 포함한 GRF 게임을 마스터할 수 있는 확장 가능한 종단 간 학습 시스템을 개발한다.
• 사전에 훈련된 오프라인 모델을 초기화로 활용하여 현대적인 다중에이전트 강화학습을 가속화한다.
• 단일 전문가 트레이젝터리에서의 오프라인 모방 및 강화학습이 고성능이고 일반화 가능한 다중에이전트 정책을 도출할 수 있음을 입증한다.

제안 방법

• 리그 훈련 환경에서 훈련된 단일 에이전트 전문가의 자가 플레이를 통해 대규모 리プレイ 데이터셋을 생성했다.
• 고정된 단일 에이전트 시연 데이터로부터 다중에이전트 정책을 훈련하기 위한 분산 오프라인 강화학습 시스템을 설계했다.
• 다중에이전트 환경에 특화된 새로운 오프라인 RL 알고리즘을 제안하였으며, 행동 클로닝과 값 정규화 기법을 통합하여 학습 안정성을 향상시켰다.
• 다중에이전트 훈련의 기반으로 MAPPO 알고리즘을 활용하였고, 오프라인 모델의 사전 훈련된 가중치로 초기화했다.
• 행동 공간이 다른 시나리오로 이관할 때 최종 레이어의 가중치를 동 冻결하는 등의 아키텍처 수정을 적용했다.
• 커리큘럼 스타일 평가 및 TrueSkill 랭킹을 활용하여 다양한 시나리오와 상대방에 대해 성능을 평가했다.

실험 결과

연구 질문

• RQ1 단일 에이전트 시연에서의 오프라인 강화학습이 전체 11명의 플레이어를 포함한 Google Research Football 게임을 마스터할 수 있는 다중에이전트 정책을 성공적으로 훈련시킬 수 있는가?
• RQ2 사전에 훈련된 오프라인 모델이 현대적인 다중에이전트 강화학습 알고리즘의 학습을 얼마나 효과적으로 가속화하는가?
• RQ3 단일 전문가 트레이젝터리에서의 오프라인 모방 및 강화학습이 다중에이전트 협력이 필요한 복잡하고 보상이 희박하며 확률적인 환경으로 일반화되는 정도는 어느 정도인가?
• RQ4 다중에이전트 RL에서 랜덤 또는 랜덤 액터 초기화 대비 오프라인 사전 훈련을 사용할 경우 샘플 효율성과 성능 향상은 어느 정도인가?
• RQ5 제안된 방법이 GRF의 전체 게임 및 학술 시나리오 모두에서 기존 방법을 초월할 수 있는가?

주요 결과

• TiKick는 단일 에이전트 전문가의 오프라인 데이터만을 사용하여 전체 11명의 플레이어를 포함한 Google Research Football 게임을 성공적으로 마스터한 최초의 학습 기반 AI 시스템이다.
• 사전 훈련된 TiKick 모델은 후행 다중에이전트 RL 학습을 크게 가속화하였으며, 다섯 개의 학술 시나리오 중 네 개에서 단 100만 개의 학습 스텝 내에 최고 점수를 기록했다.
• 모든 다섯 개의 GRF 학술 시나리오에서 QMIX, MADDPG, CDS, MAPPO와 같은 베이스라인 대비 TiKick이 가장 뛰어난 성능과 가장 낮은 샘플 복잡도를 기록했다.
• 최종 TiKick 모델는 평가된 모든 알고리즘 중에서 가장 높은 TrueSkill 랭킹을 확보하여 내장된 AI 상대와의 대결에서 뛰어난 강도와 일관성을 입증했다.
• 이 방법은 강력한 일반화 능력을 보였으며, 상대가 매우 다이나믹하고 수가 많은 Hard_Counter-attack와 같은 어려운 시나리오에서도 베이스라인을 압도했다.
• 아블레이션 연구를 통해 온라인 상호작용 없이도 단일 전문가 시연 데이터를 활용한 오프라인 사전 훈련만으로도 고성능 다중에이전트 정책을 도출할 수 있음을 확인했다.