[논문 리뷰] On Reinforcement Learning for Full-length Game of StarCraft

Zhen-Jia Pang, Ruo-Ze Liu외 4명|arXiv (Cornell University)|2018. 09. 23.

Reinforcement Learning in Robotics참고 문헌 22인용 수 7

한 줄 요약

이 논문은 전체 길이의 스타크래프트 II 게임을 위한 에이전트를 훈련시키기 위해 매크로 액션과 커리큘럼 전이 학습을 통합한 계층적 강화학습 접근법을 제안한다. 이중 구조와 보상 형태 설계를 통해, 제한된 계산 자원으로도 64×64 지도에서 난이도 1 AI에 대해 99% 이상의 승률을 기록하고, 가장 강력한 비cheating 내장 AI(난이도 7)에 대해서는 93% 이상의 승률을 달성한다.

ABSTRACT

StarCraft II poses a grand challenge for reinforcement learning. The main difficulties of it include huge state and action space and a long-time horizon. In this paper, we investigate a hierarchical reinforcement learning approach for StarCraft II. The hierarchy involves two levels of abstraction. One is the macro-action automatically extracted from expert's trajectories, which reduces the action space in an order of magnitude yet remains effective. The other is a two-layer hierarchical architecture which is modular and easy to scale, enabling a curriculum transferring from simpler tasks to more complex tasks. The reinforcement training algorithm for this architecture is also investigated. On a 64x64 map and using restrictive units, we achieve a winning rate of more than 99\% against the difficulty level-1 built-in AI. Through the curriculum transfer learning algorithm and a mixture of combat model, we can achieve over 93\% winning rate of Protoss against the most difficult non-cheating built-in AI (level-7) of Terran, training within two days using a single machine with only 48 CPU cores and 8 K40 GPUs. It also shows strong generalization performance, when tested against never seen opponents including cheating levels built-in AI and all levels of Zerg and Protoss built-in AI. We hope this study could shed some light on the future research of large-scale reinforcement learning.

연구 동기 및 목표

• 전체 길이의 스타크래프트 II 게임에서 큰 상태 및 행동 공간, 장수평, 부분 관측 가능성 등의 과제를 해결하기 위해.
• 대규모 훈련을 단순화하는 가변적이고 모듈러한 계층적 강화학습 아키텍처를 개발하기 위해.
• 커리큘럼 전이 학습과 효과적인 보상 설계를 통해 샘플 효율성과 학습 안정성을 향상시키기 위해.
• 제한된 계산 자원을 사용하여 내장 AI 상대와의 강력한 성능을 달성하기 위해.

제안 방법

• 두 수준의 계층적 아키텍처를 사용하며, 고수준 제어기가 하위 정책을 선택하고 저수준 정책이 전문가 시뮬레이션에서 유도된 매크로 액션을 실행한다.
• 매크로 액션은 전문가 트레이젝터리에서 추출되어 행동 공간을 한 순위 감소시키면서도 전략적 효과는 유지한다.
• 커리큘럼 전이 학습 전략은 쉬운 AI 상대에서부터 더 어려운 AI 상대로의 순차적 훈련을 통해 일반화 능력과 수렴 성능을 향상시킨다.
• 보상 형태 설계는 승패 신호와 수작업 보상의 조합으로 이루어져 정책 학습을 이끌고 비최적 행동을 방지한다.
• 단일 머신 환경에서 4개의 GPU와 48개의 CPU 스레드를 사용하며, 다양한 전투 모델의 혼합을 통해 강건성을 향상시킨다.
• 하이퍼파rameter 튜닝은 학습 반복당 에피소드 수에 집중되어 학습 안정성을 높이며, 다른 파rameter들은 영향을 최소한도로 유지한다.

실험 결과

연구 질문

• RQ1 매크로 액션을 통합한 계층적 강화학습 아키텍처는 전체 길이의 스타크래프트 II의 복잡성을 효과적으로 줄이면서도 높은 성능을 유지할 수 있는가?
• RQ2 커리큘럼 전이 학습은 복잡하고 장수평이 긴 게임에서 샘플 효율성과 최종 정책 성능에 어떤 영향을 미치는가?
• RQ3 결과 기반 보상(승패)과 수작업 보상의 상대적 영향은 학습 안정성과 최종 승률에 어떻게 작용하는가?
• RQ4 모듈러한 이중 수준 아키텍처는 비계층적 설계에 비해 더 나은 확장성과 하위 정책 교체 능력을 어떻게 제공하는가?
• RQ5 대규모 스타크래프트 II 훈련에서 학습 수렴과 성능에 가장 크게 영향을 미치는 하이퍼파rameter는 무엇인가?

주요 결과

• 매크로 액션을 포함한 계층적 아키텍처는 단지 4개의 GPU와 48개의 CPU 스레드를 사용하여 64×64 지도에서 난이도 1 내장 AI에 대해 99% 이상의 승률을 기록했다.
• 전투 네트워크와 규칙 기반 전략을 조합한 혼합 모델이 가장 높은 승률(93% 이상)을 기록하여 가장 어려운 비cheating AI(난이도 7)에 대비했다.
• 고난이도 레벨에서 계층적 아키텍처는 비계층적 단일 정책 베이스라인에 비해 뚜렷한 성능 우위를 보이며, 추상화와 모듈러리티의 가치를 입증했다.
• 결과 기반(승패) 보상만으로는 난이도 7에서 열악한 성능을 보였지만, 수작업 보상의 도입으로 학습 안정성과 최종 성과가 향상되었다.
• 훈련 반복당 에피소드 수를 늘림으로써 학습 안정성과 수렴 성능이 향상되었으며, 특히 어려운 레벨에서 두드러졌다.
• 본 연구는 커리큘럼 학습과 보상 설계가 대규모 장수평 강화학습 과제에서 뛰어난 성능을 달성하는 데 핵심 요소임을 보여주었다.