[논문 리뷰] An Introduction of mini-AlphaStar

Ruo-Ze Liu, Wenhai Wang외 4명|arXiv (Cornell University)|2021. 04. 14.

Artificial Intelligence in Games참고 문헌 7인용 수 5

한 줄 요약

이 논문은 딥마인드의 알파스타 에이전트를 단순화한 mini-AlphaStar(mAS)를 소개한다. mAS는 일반적인 하드웨어에서 학습이 가능하도록 설계된 스타크래프트 II용 축소형 재구현 버전이다. 핵심 아키텍처와 학습 파이프라인—즉, 지도 학습, 강화 학습, 다중 에이전트 리그를 포함—을 유지하면서 하이퍼파라미터를 줄여, 복잡한 실시간 전략 환경에서 고급 강화 학습 에이전트에 대한 접근 가능한 연구를 가능하게 한다. 모든 코드는 재현성과 향후 개발을 위해 오픈소스로 공개된다.

ABSTRACT

StarCraft II (SC2) is a real-time strategy game in which players produce and control multiple units to fight against opponent's units. Due to its difficulties, such as huge state space, various action space, a long time horizon, and imperfect information, SC2 has been a research hotspot in reinforcement learning. Recently, an agent called AlphaStar (AS) has been proposed, which shows good performance, obtaining a high win rate of 99.8% against human players. We implemented a mini-scaled version of it called mini-AlphaStar (mAS) based on AS's paper and pseudocode. The difference between AS and mAS is that we substituted the hyper-parameters of AS with smaller ones for mini-scale training. Codes of mAS are all open-sourced (https://github.com/liuruoze/mini-AlphaStar) for future research.

연구 동기 및 목표

• 원래 에이전트의 막대한 계산 자원 요구를 초월해 일반 상용 하드웨어에서 실행 가능한 작고 학습 가능한 알파스타의 버전을 개발하는 것.
• 지도 학습, 강화 학습, 다중 에이전트 리그 메커니즘을 포함한 알파스타의 핵심 아키텍처 및 학습 구성 요소를 축소형으로 유지하는 것.
• 연구자들이 스타크래프트 II와 같은 복잡한 다중 에이전트 환경에서 고급 딥 강화 학습을 실험할 수 있도록 재현 가능하고 오픈소스 플랫폼을 제공하는 것.
• 제한된 능력과 자원에도 불구하고 축소된 스케일의 에이전트가 여전히 경쟁력 있는 정책을 학습할 수 있는지 조사하는 것.

제안 방법

• 모델는 알파스타 아키텍처의 단순화된 버전을 사용하며, 세 개의 인코더(엔티티, 공간, 스칼라), 잔차 블록과 LSTM 레이어를 포함한 코어 네트워크, 그리고 행동 예측을 위한 여섯 개의 헤드를 포함한다.
• 지도 학습은 전문가 인간 플레이 기록을 사용하여 강화 학습 이전에 인간 유사 행동을 사전 학습하는 데 적용된다.
• 강화 학습은 다중 에이전트 리그 내에서 자기 대결을 통해 수행되며, 승패 기록에 따라 순위가 매겨지고 이에 따라 상대 선택이 유도된다.
• 다중 에이전트 리그는 적응형 상대 선택 전략을 사용한다: 주요 이용자들은 분산 가중 선택 방식으로 강력한 이력 기반 에이전트를 샘플링하고, 리그 이용자들은 캡된 선형 가중치를 사용한다.
• 배치 크기, 시퀀스 길이, 임bedding 크기, 네트워크 깊이 등의 하이퍼파라미터가 크게 감소(예: 원본_1024에서 256으로)되어 일반 기계에서의 학습을 가능하게 한다.
• 학습 파이프라인에는 가치 추정을 위한 베이스라인 네트워크와 pFSP 기반의 정책 개선 방법이 포함되어 있으나, z-값 생성은 부분적으로 미구현 상태이다.

실험 결과

연구 질문

• RQ1 심각하게 축소된 스케일의 알파스타 버전이 일반 하드웨어에서 학습 가능한 동시에 스타크래프트 II에서 경쟁적인 성능을 달성할 수 있는가?
• RQ2 축소된 형태로 알파스타의 핵심 아키텍처와 학습 방법을 유지할 경우, 학습 효율성과 정책 품질이 어느 정도 유지되는가?
• RQ3 저자원 환경에서 지도 사전 학습과 다중 에이전트 자기 대결 강화 학습의 조합이 얼마나 효과적인가?
• RQ4 더 작은 모델은 알파스타의 전략적 깊이와 적응 능력을 어느 정도 재현할 수 있는가?

주요 결과

• mini-AlphaStar 모델은 지도 학습, 강화 학습, 다중 에이전트 리그 메커니즘을 포함한 알파스타의 핵심 구성 요소를 성공적으로 재현하였다.
• 모델는 정상적으로 작동하며, 모든 코드가 GitHub에 공개되어 있어 커뮤니티가 활용할 수 있도록 일반 상용 하드웨어에서 정상적으로 실행 가능하다.
• 학습 파이프라인이 정상적으로 작동하지만, 최종 성능는 이상적이지 않아 모델 축소가 정책 품질과 경쟁력에 영향을 준다는 것을 시사한다.
• 작은 하이퍼파라미터 사용—예를 들어 임bedding 크기 감소(1543 vs. 3585), LSTM 레이어 수 감소(1 vs. 3), 잔차 블록 수 감소(4 vs. 16)—는 접근 가능한 하드웨어에서의 학습을 가능하게 하지만 표현 능력을 제한한다.
• 다중 에이전트 리그 메커니즘은 동적 상대 선택을 성공적으로 지원하며, 이용자들은 분산 가중 샘플링을 사용하고 리그 이용자들은 캡된 선형 가중치를 사용하여 학습 상대의 다양성을 유지한다.