[논문 리뷰] Sampled Policy Gradient for Learning to Play the Game Agar.io

Anton Wiehe, Nil Stolt-Ansó외 2명|arXiv (Cornell University)|2018. 09. 15.

Reinforcement Learning in Robotics참고 문헌 20인용 수 6

한 줄 요약

이 논문은 연속 제어 환경에서 탐색을 향상시키기 위해 행동 공간에서 행동을 샘플링하고 크리틱을 사용해 정책 기울기를 근사하는 새로운 오프라인 액터-크리틱 강화학습 알고리즘인 샘플드 정책 기울기(SPG)를 소개한다. SPG는 광범위한 샘플링 없이 DPG의 성능을 도달하며, 펠릿 수집에서는 Q-러닝과 CACLA보다 뛰어나지만, 전투 시나리오에서는 탐욕스러운 봇을 이길 수 없다.

ABSTRACT

In this paper, a new offline actor-critic learning algorithm is introduced: Sampled Policy Gradient (SPG). SPG samples in the action space to calculate an approximated policy gradient by using the critic to evaluate the samples. This sampling allows SPG to search the action-Q-value space more globally than deterministic policy gradient (DPG), enabling it to theoretically avoid more local optima. SPG is compared to Q-learning and the actor-critic algorithms CACLA and DPG in a pellet collection task and a self play environment in the game Agar.io. The online game Agar.io has become massively popular on the internet due to intuitive game design and the ability to instantly compete against players around the world. From the point of view of artificial intelligence this game is also very intriguing: The game has a continuous input and action space and allows to have diverse agents with complex strategies compete against each other. The experimental results show that Q-Learning and CACLA outperform a pre-programmed greedy bot in the pellet collection task, but all algorithms fail to outperform this bot in a fighting scenario. The SPG algorithm is analyzed to have great extendability through offline exploration and it matches DPG in performance even in its basic form without extensive sampling.

연구 동기 및 목표

• 연속 제어 환경에서 더 넓은 전역 탐색을 가능하게 하는 새로운 오프정책 액터-크리틱 알고리즘을 개발하는 것.
• 간소화된 Agar.io 환경에서 Q-러닝, CACLA, DPG와 같은 기존 알고리즘과 SPG를 비교하는 것.
• 복잡하고 확률적인 환경에서 오프라인 탐색과 행동 샘플링이 정책 기울기 학습에 미치는 영향을 평가하는 것.
• CACLA가 상태-행동 가치 함수 대신 상태-가치 함수를 사용하면서도 일부 작업에서 DPG와 SPG를 능가하는 이유를 탐구하는 것.
• SPG가 향후 연속 행동 공간에서의 RL 연구를 위한 융통성 있고 확장 가능한 프레임워크로 활용될 잠재력을 탐색하는 것.

제안 방법

• SPG는 행동 공간에서 다수의 행동을 샘플링하고 크리틱을 사용해 그 예상 수익을 평가함으로써 정책 기울기를 근사한다.
• 이 알고리즘은 샘플된 행동의 가치를 추정하는 크리틱 네트워크를 사용하여, 결정론적 정책 기울기 대비 행동-Q-값 공간에서 더 넓은 탐색이 가능하다.
• 이들은 행동 공간에서의 오프라인 탐색을 위해 가우시안 샘플링을 활용하며, 각 전이에서 최고의 샘플된 행동을 저장하여 학습의 안정성과 성능을 향상시킨다.
• 액터는 샘플된 행동에 대한 크리틱 출력의 기울기를 사용하여 업데이트되며, DPG와 CACLA의 요소를 통합한다.
• 초기화 파rameter는 거친 검색을 통해 튜닝되었으며, 모든 알고리즘은 동일한 Keras 기반 구현과 OpenAI의 경험 재생 버퍼를 사용하여 공정한 비교를 확보했다.
• 이 방법은 분포적 크리틱과 계층적 아키텍처와 같은 확장 기능을 지원하여, 복잡한 환경에 대한 적응성을 높인다.

실험 결과

연구 질문

• RQ1 SPG에서 행동 공간의 샘플링 탐색이 결정론적 정책 기울기 대비 더 나은 수렴과 국소 최적값 감소에 기여할 수 있는가?
• RQ2 SPG는 Agar.io의 펠릿 수집 및 자가 대결 시나리오에서 Q-러닝, CACLA, DPG와 비교해 성능가능한가?
• RQ3 CACLA가 상태-가치 크리틱을 사용하면서도 펠릿 수집 작업에서 DPG와 SPG를 능가하는 이유는 무엇인가?
• RQ4 오프라인 탐색과 최고 행동 캐싱이 SPG의 학습 효율성과 최종 성능에 얼마나 기여하는가?
• RQ5 미래 연구에서 분포적 크리틱이나 호기심 기반 탐색과 같은 고급 기법을 SPG에 효과적으로 확장할 수 있는가?

주요 결과

• SPG는 초기에 학습 속도가 느리지만, 광범위한 샘플링이나 아키텍처 확장 없이도 펠릿 수집 과제에서 DPG의 최종 성능을 도달한다.
• Q-러닝은 연속 행동 공간을 이산화하더라도 더 단순하고 안정적인 학습 메커니즘 덕분에 펠릿 수집 과제에서 액터-크리틱 방법들을 능가한다.
• CACLA는 상태-가치 크리틱을 사용함에도 불구하고 액터-크리틱 알고리즘 중에서 가장 뛰어난 성능을 보이며, 이는 크리틱 함수 선택이 학습 안정성과 결과에 상당한 영향을 미친다는 것을 시사한다.
• 모든 알고리즘이 직접적인 전투 시나리오에서 사전 프로그래밍된 탐욕스러운 봇을 능가하지 못하며, 이는 현재 방법들이 복잡하고 고위험 전략적 상호작용에서 어려움을 겪고 있음을 나타낸다.
• 오프라인 가우시안 샘플링과 각 전이에서 최고의 샘플된 행동을 저장하는 것이 SPG의 성능을 크게 향상시키며, 이는 권장되는 기본 설정으로 간주된다.
• 분석 결과, SPG는 탐색 능력과 크리틱 정확도가 요구되는 환경에서 향후 확장의 강력한 기반을 제공할 수 있음을 시사한다.