[논문 리뷰] Experiments with Game Tree Search in Real-Time Strategy Games

Santiago Ontañón|arXiv (Cornell University)|2012. 08. 09.

Artificial Intelligence in Games참고 문헌 17인용 수 9

한 줄 요약

이 논문은 실시간 전략(Real-Time Strategy, RTS) 게임에서 전개되는 전략적 플레이의 특성에 맞게 최소화 알고리즘의 변종인 RTMM(RTMM: Real-Time Minimax)를 소개한다. RTMM는 비턴기반 게임플레이나 지속적인 동시 행동이 가능한 환경에서의 도전 과제를 해결하기 위해 개발되었으며, 간단한 RTS 게임과 같은 낮은 분기 인자 환경에서는 강력한 전술적 성능을 보여주지만, 추가적인 샘플링 기법(예: UCT)이 없이 고분기 인자 환경에서는 어려움을 겪는다.

ABSTRACT

Game tree search algorithms such as minimax have been used with enormous success in turn-based adversarial games such as Chess or Checkers. However, such algorithms cannot be directly applied to real-time strategy (RTS) games because a number of reasons. For example, minimax assumes a turn-taking game mechanics, not present in RTS games. In this paper we present RTMM, a real-time variant of the standard minimax algorithm, and discuss its applicability in the context of RTS games. We discuss its strengths and weaknesses, and evaluate it in two real-time games.

연구 동기 및 목표

• 기존의 게임 트리 탐색 알고리즘인 최소화 알고리즘이 실시간 전략(RTS) 게임에 효과적으로 적용될 수 있는지 조사하기 위해.
• 실시간 플레이의 핵심 과제인 지속적이고 동시에 발생하는 행동으로 인해 표준 최소화 알고리즘이 적용되지 않는 문제를 해결하기 위해.
• 부분 관측성과 비결정성과 같은 다른 RTS 복잡성 요소들과 분리하여, 실시간 실행에 집중한 RTMM의 성능을 평가하기 위해.
• 간단한 RTS 환경과 전체 규모의 RTS 환경에서 RTMM의 성능을 평가하고, 기준 AI 전략과 비교하기 위해.
• RTMM를 실시간 영역으로의 게임 트리 탐색 확장 기반으로 설정하기 위해, 특히 UCT와 같은 샘플링 기반 방법과 결합할 경우에 유용한 기반 프레임워크로 확립하기 위해.

제안 방법

• 지속적이고 동시에 발생하는 행동을 처리하기 위해 표준 알고리즘을 수정하여, 후보 탐색 깊이를 제한하고 즉각적인 행동 선택을 우선시하는 실시간 최소화 알고리즘인 RTMM을 제안한다.
• 고도의 불확실성이나 동시 이동이 발생하는 상황에서의 강건성을 향상시키기 위해 랜덤화된 알파-베타 가지치기 기법을 적용한 RRTMM(Randomized RTMM)를 도입한다.
• 복잡한 히ュ리스틱을 피하기 위해 자원 비용 기반의 단순 평가 함수를 사용하여 게임 상태의 가치를 추정한다.
• RTMM를 두 가지 테스트 환경에 구현한다: 간단한 실시간 액션 게임인 BattleCity와 전체 관측성과 결정론적 메커니즘을 갖춘 최소화된 RTS 시뮬레이터인 μRTS.
• 고정된 탐색 깊이 제한과 시간 예산을 적용하여, 게임 상태가 탐색 도중 변화하더라도 실시간 제약 조건 내에서 행동을 선택하도록 보장한다.
• 전술적 및 전략적 성능 평가를 위해, 메이들(4v4 유닛 전투) 및 전체 게임(8x8 지도, 기지 건설) 시나리오에서 RTMM를 확률적 AI 및 러시 전략 AI와 비교한다.

실험 결과

연구 질문

• RQ1 기본적인 최소화 알고리즘이 전통적으로 턴기반 메커니즘을 가정하는 실시간 전략(RTS) 게임에 효과적으로 적응될 수 있는가?
• RQ2 지속적인 행동 실행과 동시 이동이 존재하는 실시간 환경에서 RTMM의 성능은 어떠한가?
• RQ3 분기 인자와 탐색 깊이가 RTS 게임에서 RTMM의 효과성에 어떤 영향을 미치는가?
• RQ4 RTMM는 저복잡도 환경에서는 강력한 전술적 성능를 보이며, 고복잡도 설정에서는 전략적 AI와 비교해 어떤 성과를 내는가?
• RQ5 RTMM는 UCT와 같은 샘플링 기반 방법과 통합하여, 전체 RTS 게임에서 큰 분기 인자를 다루는 데 기초 프레임워크로 기능할 수 있는가?

주요 결과

• μRTS-메이들 시나리오(4v4 유닛 전투)에서 RTMM 기반 봇은 확률적 AI 상대와 20판 중 18판, 러시 AI 상대와 20판 중 15판을 승리하여 강력한 전술적 성능를 입증했다.
• 전체 μRTS-풀 시나리오에서 RTMM는 확률적 AI 상대와 22승 0무 58패로 전반적으로 패배했지만, 러시 AI 상대와의 전적은 전패를 기록하여 장기적인 전략적 계획 수립 능력이 떨어지는 것으로 나타났다.
• 전체 게임 시나리오에서 분기 인자는 수천에서 수만까지 증가하여, 최대 4.9초의 탐색 깊이를 가진 상태에서도 RTMM의 효과성이 심각하게 저하되었다.
• RRTMM(Randomized α-β 가지치기 변종)는 메이들 시나리오에서 표준 RTMM를 초월하여 성능을 높였으며, 이는 동시 이동 환경에서의 확률적 가지치기가 강건성을 향상시킨다는 것을 시사한다.
• RTMM는 분기 인자가 제한된 환경에서는 단기 전술적 의사결정에서 뛰어난 성능를 보이지만, 전략적 깊이에서는 실패하며, 이는 전체 게임에서 단순한 러시 전략에 대응하지 못함으로써 확인되었다.
• 결과적으로 RTMM만으로는 복잡한 RTS 게임에 충분하지 않으며, 큰 분기 인자를 다루고 더 깊은 탐색을 가능하게 하기 위해 샘플링 기반 방법(예: UCT)이 필수적임을 시사한다.