[논문 리뷰] Multiagent Bidirectionally-Coordinated Nets for Learning to Play StarCraft Combat Games.

Peng Peng, Quan Yuan외 5명|arXiv (Cornell University)|2017. 03. 29.

Reinforcement Learning in Robotics참고 문헌 29인용 수 171

한 줄 요약

이 논문은 스타크래프트 전투 게임에서 AI 에이전트 간의 확장 가능하고 통신 효율적인 협업을 가능하게 하기 위해 벡터화된 액터-크리틱 프레임워크를 사용하는 다중에이전트 이중협동 네트워크인 BiCNet을 제안한다. 인간의 지도 없이도 다양한 수의 에이전트와 다양한 지형에서 인간과 유사한 협업 전략을 학습하며, 다중에이전트 전투 시나리오에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Real-world artificial intelligence (AI) applications often require multiple agents to work in a collaborative effort. Efficient learning for intra-agent communication and coordination is an indispensable step towards general AI. In this paper, we take StarCraft combat game as the test scenario, where the task is to coordinate multiple agents as a team to defeat their enemies. To maintain a scalable yet effective communication protocol, we introduce a multiagent bidirectionally-coordinated network (BiCNet ['bIknet]) with a vectorised extension of actor-critic formulation. We show that BiCNet can handle different types of combats under diverse terrains with arbitrary numbers of AI agents for both sides. Our analysis demonstrates that without any supervisions such as human demonstrations or labelled data, BiCNet could learn various types of coordination strategies that is similar to these of experienced game players. Moreover, BiCNet is easily adaptable to the tasks with heterogeneous agents. In our experiments, we evaluate our approach against multiple baselines under different scenarios; it shows state-of-the-art performance, and possesses potential values for large-scale real-world applications.

연구 동기 및 목표

• 스타크래프트와 같은 복잡하고 동적인 전투 환경에서 다수의 AI 에이전트 간에 효율적이고 확장 가능한 협업을 가능하게 하기 위해.
• 에이전트 수나 지형 복잡도에 관계없이 효과성을 유지하는 통신 프로토콜을 개발하기 위해.
• 전문가 수준의 플레이를 모방하기 위해 인간의 지도나 레이블 데이터 없이도 협업 전략을 학습하기 위해.
• 다양한 종류의 에이전트가 협동 전투 작업을 수행할 수 있도록 지원하여 실제 적용 가능성 향상시키기 위해.
• 실시간 전략 게임에서 다중에이전트 강화학습 분야에서 최신 기술 수준의 성능를 달성하기 위해.

제안 방법

• 에이전트 간 이중 협동 통신을 통해 협업을 향상시키는 다중에이전트 딥 강화학습 프레임워크인 BiCNet을 도입한다.
• 에이전트 수의 변화에 따라 효율적으로 확장 가능한 액터-크리틱 알고리즘의 벡터화된 확장 방식을 적용한다.
• 에이전트가 상호 정보를 교환할 수 있도록 이중 방향 통신 메커니즘을 설계하여 공동 의사결정 능력을 향상시킨다.
• 통신 효율성과 정책 최적화를 균형 있게 유지하기 위해 중심화된 크리틱과 분산 실행을 결합한다.
• 인간의 지도나 레이블 데이터를 전혀 사용하지 않고, 환경 피드백을 통한 자기지도 학습에 의존한다.
• 개별 정책을 적응시켜 이종 에이전트를 지원하면서도 공통의 통신 프로토콜을 통해 공동 협업을 유지한다.

실험 결과

연구 질문

• RQ1 다중에이전트 딥 강화학습 프레임워크는 인간의 지도 없이 스타크래프트 전투에서 효과적인 협업 전략을 학습할 수 있는가?
• RQ2 BiCNet의 이중 통신 메커니즘은 다양한 수의 에이전트와 지형 유형에서 얼마나 잘 확장되는가?
• RQ3 BiCNet은 전문가 플레이에서 관찰된 인간과 유사한 협업 전략을 어느 정도 모방할 수 있는가?
• RQ4 에이전트 수가 다양하게 변하는 다양한 전투 시나리오에서 BiCNet은 기존 베이스라인과 비교해 어떤 성능을 보이는가?
• RQ5 BiCNet은 협업 효율성을 유지하면서도 이종 에이전트를 포함한 작업에 일반화할 수 있는가?

주요 결과

• BiCNet은 인간의 지도나 레이블 데이터 없이도 스타크래프트 전투에서 다양한 협업 전략을 성공적으로 학습한다.
• 프레임워크는 에이전트 수와 지형 유형에 관계없이 일반화되며, 다양한 전투 시나리오에서 높은 성능를 유지한다.
• 모든 평가된 시나리오에서 여러 베이스라인과 비교해 최신 기술 수준의 성능를 달성한다.
• 이중 통신 메커니즘이 협업 효율성과 팀 수준의 의사결정 능력을 크게 향상시킨다.
• 이종 에이전트에 대한 강력한 적응력을 보이며, 혼합 에이전트 팀에서도 효과적인 협업을 가능하게 한다.
• 벡터화된 액터-크리틱 구성은 확장 가능한 학습과 추론을 가능하게 하여 대규모 다중에이전트 응용 분야를 지원한다.