[논문 리뷰] An electronic-game framework for evaluating coevolutionary algorithms

Karine da Silva Miras de Araújo, Fabrício Olivetti de França|arXiv (Cornell University)|2016. 04. 03.

Reinforcement Learning in Robotics참고 문헌 11인용 수 4

한 줄 요약

이 논문은 강화학습에서 공진화 알고리즘을 평가하기 위해 Mega Man II를 기반으로 한 전자 게임 프레임워크인 EvoMan를 소개한다. 이 프레임워크를 통해 유전 알고리즘과 NEAT를 이용한 신경진화를 통해 적응형 적과 함께 공진화하는 에이전트를 훈련시킬 수 있으며, 경쟁적 플레이 환경에서 향상된 적응성과 무기 경쟁 역학을 입증한다.

ABSTRACT

One of the common artificial intelligence applications in electronic games consists of making an artificial agent learn how to execute some determined task successfully in a game environment. One way to perform this task is through machine learning algorithms capable of learning the sequence of actions required to win in a given game environment. There are several supervised learning techniques able to learn the correct answer for a problem through examples. However, when learning how to play electronic games, the correct answer might only be known by the end of the game, after all the actions were already taken. Thus, not being possible to measure the accuracy of each individual action to be taken at each time step. A way for dealing with this problem is through Neuroevolution, a method which trains Artificial Neural Networks using evolutionary algorithms. In this article, we introduce a framework for testing optimization algorithms with artificial agent controllers in electronic games, called EvoMan, which is inspired in the action-platformer game Mega Man II. The environment can be configured to run in different experiment modes, as single evolution, coevolution and others. To demonstrate some challenges regarding the proposed platform, as initial experiments we applied Neuroevolution using Genetic Algorithms and the NEAT algorithm, in the context of competitively coevolving two distinct agents in this game.

연구 동기 및 목표

• 게임 완료까지 보상이 지연되어 전통적인 지도학습이 불가능한 환경에서 학습 알고리즘 평가의 과제를 해결하기 위해.
• 전자 게임에서 자율 에이전트 학습을 평가하기 위한 유연하고 구성 가능한 테스트베드를 제공하기 위해.
• 실제 세계의 불확실성과 유사한 실시간 동적 게임 환경을 시뮬레이션하여 인간 학습 패턴과 유사한 적응형 AI 행동을 가능하게 하기 위해.
• 플레이어 및 적 에이전트가 동시에 진화하는 공진화 학습의 가능성 탐색을 위해.
• 통제되고 반복 가능한 환경에서 학습 알고리즘을 테스트함으로써 비디오 게임에서 적응적이고 도전적이며 매력적인 AI 상대를 개발하는 데 기여하기 위해.

제안 방법

• 단일 진화 및 공진화 모드를 포함한 구성 가능한 게임 모드를 갖춘 Mega Man II를 영감으로 삼은 커스터마이징 가능한 게임 환경 설계.
• 인공신경망(ANN)을 에이전트 컨트롤러로 사용하고, 유전 알고리즘(GA)과 NEAT(증강 구조의 신경진화)를 통해 훈련하는 신경진화 프레임워크 구현.
• 플레이어 에너지, 적 체력, 생존 시간과 같은 게임 내 지표를 기반으로 한 게임 전용 적합도 함수 정의로 진화 최적화를 이끌기.
• 주 플레이어 에이전트를 진화하는 적 에이전트와 대결시켜 양측이 동시에 상호 보완적으로 향상되도록 공진화 구현.
• 각 에이전트의 게놈이 ANN의 가중치를 인코딩하는 인구 기반 진화적 접근을 사용하며, 세대에 걸쳐 선택, 교차, 돌연변이 적용.
• 비교를 위해 히ュ리스틱 기반 베이스라인 도입: 초기에 고정된 사전 프로그래밍된 적 행동에 대응하는 학습을 수행한 후 공진화 훈련으로 전환.

실험 결과

연구 질문

• RQ1 지연된 보상이 존재하는 게임 환경에서 공진화 알고리즘이 진화하는 적 행동에 적응할 수 있도록 에이전트를 효과적으로 훈련시킬 수 있는가?
• RQ2 고정된 적 행동에 대응하는 학습과 공진화하는 적에 대응하는 학습 간에 신경진화(GA 및 NEAT)의 성능는 어떻게 비교되는가?
• RQ3 공진화 설정이 양측 에이전트가 서로에 대해 지속적으로 향상되도록 만들어 무기 경쟁 역학을 얼마나 잘 생성하는가?
• RQ4 어느 적이 학습하기 가장 어려운가? 히ュ리스틱 및 공진화 설정에서 다양한 적 유형에 따라 학습 곡선은 어떻게 달라지는가?
• RQ5 공진화 접근 방식이 단일 에이전트 학습보다 더 강건하고 일반화된 전략을 도출하는가?

주요 결과

• 히ュ리스틱 실험에서는 에이전트가 모든 적을 물리치는 데 성공했으며, AirMan는 가장 쉽게 물리치고(초기 승리), FlashMan, WoodMan, HeatMan는 가장 어려운 상대였다.
• 공진화 실험에서는 주 플레이어가 FlashMan에 대해 평균 에너지 0, AirMan에 대해 74, WoodMan에 대해 4를 기록하여 일부 적에 대해서는 뛰어난 성능를 보였지만 다른 적은 물리치지 못했다.
• MetalMan에 대응하여 에이전트는 높은 성능(평균 에너지 94)을 유지했으며 안정적인 적응을 보였지만, FlashMan에 대해서는 성능이 여전히 열악했음(평균 에너지 0), 지속적인 어려움을 겪었다.
• AirMan 및 QuickMan에 대해 무기 경쟁이 가장 뚜렷했으며, 에이전트가 승리와 패배를 번갈아가며 시간이 지남에 따라 동적인 적응을 보였다.
• NEAT 알고리즘은 높은 돌연변이율과 염색체 표현에 대한 민감성으로 인해 특히 MetalMan 및 CrashMan와 같은 적에 대해 완벽한 해결책을 오랫동안 유지하지 못했다.
• 100세대에 걸친 플레이어 및 적 에너지 변화(그림 4)를 분석한 결과, 일부 적(예: AirMan)에 대해 초기 성공이 지속적인 성능 보장하지는 않았으며, 공진화 설정에서는 더 긴 훈련 기간이 필요함을 시사했다.