[논문 리뷰] Episodic Exploration for Deep Deterministic Policies: An Application to StarCraft Micromanagement Tasks

Nicolas Usunier, Gabriel Synnaeve외 2명|arXiv (Cornell University)|2016. 09. 10.

Artificial Intelligence in Games참고 문헌 8인용 수 102

한 줄 요약

본 논문은 RL용 StarCraft 미세관리 벤치마크와 에피소드 시작 시 정책 파라미터를 무작위화하는 휴리스틱 에피소드 탐색 방법을 제안하여, Q-learning과 REINFORCE가 어려움을 겪는 상황에서도 결정론적 정책으로 학습이 가능하게 합니다.

ABSTRACT

We consider scenarios from the real-time strategy game StarCraft as new benchmarks for reinforcement learning algorithms. We propose micromanagement tasks, which present the problem of the short-term, low-level control of army members during a battle. From a reinforcement learning point of view, these scenarios are challenging because the state-action space is very large, and because there is no obvious feature representation for the state-action evaluation function. We describe our approach to tackle the micromanagement scenarios with deep neural network controllers from raw state features given by the game engine. In addition, we present a heuristic reinforcement learning algorithm which combines direct exploration in the policy space and backpropagation. This algorithm allows for the collection of traces for learning using deterministic policies, which appears much more efficient than, for example, ε-greedy exploration. Experiments show that with this algorithm, we successfully learn non-trivial strategies for scenarios with armies of up to 15 agents, where both Q-learning and REINFORCE struggle.

연구 동기 및 목표

• 대규모 상태 및 행동 공간과 명확한 특징 표현이 없는 실시간 전략 미세관리 과제에 대한 강화학습의 동기를 부여한다.
• 원시 게임 엔진 피처로 학습된 심층 신경망 컨트롤러를 사용하여 micromanagement 과제(예: m5v5, m15v16, dragoons_zealots, w15v17)를 제시한다.
• 에피소드 시작 시 네트워크 파라미터를 무작위화하고 그래디언트 없는 업데이트를 역전파와 결합하여 정책 공간에서 탐색하는 휴리스틱 강화학습 알고리즘을 개발한다.
• 다중 유닛 StarCraft 과제에서 제안된 접근법과 표준 RL 벤치마크(Q-learning, REINFORCE)를 비교 평가하여 탐색 및 학습 효율성을 강조한다.

제안 방법

• 다중 유닛 및 durative actions(이동 및 공격)으로 구성된 StarCraft의 micromanagement 과제를 정의하고 결합 행동 선택을 단순화하기 위한 그리디 추론 체계를 도입한다.
• 행동을 유닛-명령쌍의 시퀀스로 정의하고 합동 행동 복잡성을 줄이면서 충분한 정책 용량 하에서 최적성을 보존하는 그리디 MDP를 도입한다.
• 깊은 신경망으로 단위에 대한 후보 명령을 점수화하는 joint state-action 특징 표현을 사용하고, 가변 유닛 수를 처리하기 위해 pooling이 있는 상태-액션 임베딩을 적용한다.
• 유닛 수가 바뀌더라도 학습을 안정화하기 위해 정규화된 누적 보상을 도입하여 에피소드 간 일관된 그래디언트 업데이트를 가능하게 한다.
• 결정론적 정책을 교란시키는 0차 역전파(ZO) 알고리즘을 제시하고 그래디언트 기반 업데이트와 함께 파라미터 공간 탐색을 혼합한다.
• Adagrad를 파라미터 업데이트에 사용하고 상태-액션 특징과 액션 타입(공격/이동)을 처리하는 2단계 임베딩 네트워크에 의존한다.

실험 결과

연구 질문

• RQ1 QL 학습 알고리즘이나 REINFORCE가 원시 상태 피처와 수작업으로 설계된 행동 없이 StarCraft의 의미 있는 micromanagement 전략을 학습할 수 있는가?
• RQ2 파라미터 무작위화를 통한 정책 공간 탐색이 이산적 행동 공간에서 결정론적 정책의 학습 효율성을 개선하는가?
• RQ3 그리디 추론(연속 단위별 행동 선택)이 StarCraft 미세관리 과제에서 다중 유닛 제어에 효과적인가?
• RQ4 다중 유닛 과제에서 제안된 정책 공간 탐색 방법과 비교하여 표준 벤치마크(Q-learning, REINFORCE)의 성능은 어떠한가?
• RQ5 다양한 유닛 수에 따른 보상 정규화가 학습 안정성과 성능에 미치는 영향은 무엇인가?

주요 결과

• 이 접근법은 한 쪽당 최대 15 유닛 규모의 시나리오에서 비트리비얼하지 않은 전략 학습을 가능하게 한다.
• Q-learning과 REINFORCE는 이 미세관리 과제에서 어려움을 겪는 반면, 제안된 정책 공간 탐색 방법은 성공한다.
• 깊은 상태-액션 스코어러를 이용한 그리디 추론은 결정론적 정책 하에서 다중 유닛 협력을 효율적으로 관리할 수 있다.
• 파라미터 공간 탐색과 역전파를 혼합하는 제로 차(ZO) 역전파 알고리즘은 이 도메인에서 큰 신경망의 학습을 촉진한다.
• 실험 결과는 강력한 벤치마크 대비 향상을 보여주며 원시 특징으로부터 직접 micromanagement 전략을 학습하는 가능성을 시사한다.