[논문 리뷰] Asynchronous Advantage Actor-Critic Agent for Starcraft II

Basel Alghanem, P G Keerthana|arXiv (Cornell University)|2018. 07. 22.

Reinforcement Learning in Robotics참고 문헌 7인용 수 4

한 줄 요약

이 논문은 전이 학습을 활용하여 여러 미니게임에서 샘플 효율성과 수렴 속도를 향상시키는 StarCraft II용 이방향 이점 액터-크리틱(A3C) 에이전트를 제안한다. 저자들은 간단한 시나리오에서 사전 훈련을 수행할 경우 복잡한 복합 지도인 Simple64에서 학습 속도가 크게 향상되고 성능이 향상됨을 입증한다. 이는 초기 훈련에서 성능을 뛰어넘는다.

ABSTRACT

Deep reinforcement learning, and especially the Asynchronous Advantage Actor-Critic algorithm, has been successfully used to achieve super-human performance in a variety of video games. Starcraft II is a new challenge for the reinforcement learning community with the release of pysc2 learning environment proposed by Google Deepmind and Blizzard Entertainment. Despite being a target for several AI developers, few have achieved human level performance. In this project we explain the complexities of this environment and discuss the results from our experiments on the environment. We have compared various architectures and have proved that transfer learning can be an effective paradigm in reinforcement learning research for complex scenarios requiring skill transfer.

연구 동기 및 목표

• 딥 강화학습 에이전트를 StarCraft II에 훈련시키는 데 있어 다양한 신경망 아키텍처의 효과를 평가하는 것.
• 전이 학습이 다양한 StarCraft II 미니게임 간에 학습 속도를 가속화하고 정책 성능을 향상시킬 수 있는지 조사하는 것.
• 복잡하고 고차원적인 환경에서 학습 속도와 국소 최적 정책 수렴 간의 트레이드오프를 분석하는 것.
• 보상 희박성과 부분 관측 가능성의 영향을 에이전트 훈련 및 정책 학습에 미치는 영향을 분석하는 것.
• 더 복잡한 복합 시나리오를 해결하기 위해 간단한 작업에서 사전 훈련된 정책을 사용할 수 있는지 탐색하는 것.

제안 방법

• 저자들은 PySC2 환경에서 병렬 이방향 훈련을 다수의 환경에서 수행함으로써 이방향 이점 액터-크리틱(A3C) 알고리즘을 구현하여 에이전트를 훈련시켰다.
• 세 가지 네트워크 아키텍처를 평가했다: 기본 피드포워드 네트워크, 잔차 연결이 있는 완전 연결 네트워크(PlusFC), 그리고 컨볼루션 네트워크(PlusConv)로, 후자 두 가지는 더 나은 특징 추출을 위해 잔차 및 컨볼루션 연산을 통합하였다.
• 전이 학습은 관련되지만 더 단순한 작업에서 사전 훈련된 모델을 사용해 새로운 작업의 정책 네트워크를 초기화함으로써 적용되었다. 예를 들어, FindAndDefeatZerglings 정책을 사용해 DefeatZerglingsAndBanelings에서의 훈련을 초기화하였다.
• 에이전트들은 희박한 삼항 보상(승리/패배/패배)과 연속적인 피드백을 제공하는 밀란드 스코어를 모두 사용하여 훈련되었으며, 이는 학습 안정성을 향상시켰다.
• CollectMineralShards, FindAndDefeatZerglings, DefeatZerglingsAndBanelings, BuildMarines, 그리고 복합 지도인 Simple64를 포함한 StarCraft II 미니게임 세트에서 훈련이 수행되었다.
• 정책 열악화를 완화하기 위해 모델 정리 및 체크포인트 복원 기법이 사용되었으며, 특히 고난이도 시나리오에서 효과적이었다.

실험 결과

연구 질문

• RQ1 전이 학습이 복잡한 StarCraft II 미니게임에서 훈련 시간을 크게 단축시키고 성능을 향상시킬 수 있는가?
• RQ2 기본, PlusFC, PlusConv 아키텍처 간의 성능 수렴 속도와 최종 성능는 어떻게 비교되는가?
• RQ3 희박한 삼항 보상 대비 밀란드 스코어를 사용할 경우 학습 향상 정도는 어느 정도인가?
• RQ4 더 단순한 작업에서 사전 훈련된 정책이 Simple64와 같은 더 복잡한 복합 시나리오에서 보다 우수한 정책 일반화를 이끌어낼 수 있는가?
• RQ5 고난이도 환경에서 에이전트가 종종 국소 최적 정책으로 수렴하는 이유는 무엇이며, 아키텍처나 알고리즘 수정으로 이를 완화할 수 있는가?

주요 결과

• FindAndDefeatZerglings에서 사전 훈련된 정책을 사용한 전이 학습은 DefeatZerglingsAndBanelings 작업에서 훈련을 크게 가속화하고 성능을 향상시켰으며, 에이전트가 새로운 효과적인 전략을 탐색함에 따라 점수는 시간이 지남에 따라 향상되었다.
• PlusConv 및 PlusFC 아키텍처는 복잡한 시나리오에서 공간 인식과 장기 계획이 필요한 경우 기존 네트워크보다 수렴 속도와 최종 성능 모두에서 뛰어났다.
• BuildMarines 미니게임에서의 초기 훈련은 4,000 에피소드 이내에 의미 있는 진전이 없었으며, 에이전트가 마린을 건설하는 법을 배우지 못해 보상이 0이 되었고, 이는 보상 희박성과 높은 행동 공간 복잡성의 도전 과제를 보여주었다.
• Simple64 복합 지도에서 기본 네트워크를 사용한 에이전트는 18,000 에피소드 후에 비제로 점수를 기록했지만, 랭킹 수준에는 못 미쳐 다중 작업 일반화 향상 여력이 있음을 시사했다.
• FindAndDefeatZerglings에서 훈련된 에이전트는 시간이 지남에 따라 탐색 능력이 향상되었지만 여전히 지도의 30~40%를 탐색하지 못했으며, 부분 관측 환경에서 탐색이 여전히 핵심 과제임을 보여주었다.
• 고차원적이고 보상 희박한 환경에서 훈련의 불안정성으로 인해 정책 열악화가 발생했고, 이에 따라 모델 정리 및 양호한 체크포인트에서의 재훈련이 필요했으며, 이는 고차원 환경에서의 훈련이 불안정함을 강조했다.