[논문 리뷰] Introducing the Hearthstone-AI Competition

Alexander Dockhorn, Sanaz Mostaghim|arXiv (Cornell University)|2019. 05. 06.

Artificial Intelligence in Games참고 문헌 7인용 수 15

한 줄 요약

이 논문은 수집형 카드 게임 허스토나에서 AI 에이전트를 개발하고 평가하기 위한 프레임워크인 허스토나-AI 경쟁 대회를 소개한다. 부분 관찰 가능성, 높은 카드 복잡도, 무작위성, 덱 시너지, 동적인 메타게임 등의 과제를 다루기 위해 사전에 구성된 덱 플레이 및 사용자 생성 덱 플레이 두 가지 경쟁 트랙을 통해 표준화된 평가를 가능하게 하여 풍부하고 전략적인 환경에서 AI 에이전트의 성능을 평가한다.

ABSTRACT

The Hearthstone AI framework and competition motivates the development of artificial intelligence agents that can play collectible card games. A special feature of those games is the high variety of cards, which can be chosen by the players to create their own decks. In contrast to simpler card games, the value of many cards is determined by their possible synergies. The vast amount of possible decks, the randomness of the game, as well as the restricted information during the player's turn offer quite a hard challenge for the development of game-playing agents. This short paper introduces the competition framework and goes into more detail on the problems and challenges that need to be faced during the development process.

연구 동기 및 목표

• 허스토나의 복잡한 환경에서 AI 에이전트를 훈련하고 평가하기 위한 표준화된 기준을 확립하기 위해.
• 부분 관찰 가능성, 높은 카드 다양성, 무작위성, 덱 시너지 등의 수집형 카드 게임의 核심 과제를 해결하기 위해.
• 에이전트 성능 비교를 위한 통합 프레임워크를 제공함으로써 게임 플레이 AI 분야의 연구를 지원하기 위해.
• 다양한 덱과 동적인 메타게임에 적응할 수 있는 에이전트의 개발을 장려하기 위해.
• 향후 덱 빌딩, 드래프트 모드, 게임 밸런싱 등의 경쟁 트랙을 위한 기반을 마련하기 위해.

제안 방법

• 경쟁 대회는 실제 실시간 액션 제출을 시뮬레이션하는 게임 엔진으로서 사바스터드 프레임워크를 사용한다.
• 에이전트는 각 턴당 60초의 시간 제한 내에 액션을 계산하고 반환하며, 각 액션 후 상태 업데이트가 제공된다.
• 게임 시뮬레이션은 승/패/패배 비율, 반응 시간, 게임 결과를 추적하는 POGameHandler 클래스에서 관리된다.
• 두 가지 경쟁 트랙이 구현되어 있다: 고정된 덱을 위한 '사전 구성 덱 플레이'와 사용자 생성 또는 온라인으로 제작된 덱을 위한 '사용자 생성 덱 플레이'.
• 카드 뽑기의 무작위성 영향을 줄이기 위해 매치를 여러 번 반복하고, 결과는 라운드 로빈 토너먼트 방식으로 집계된다.
• 모든 제출물은 평가 후 공개되어 점진적인 개선과 재현 가능성을 지원한다.

실험 결과

연구 질문

• RQ1 어떻게 복잡하고 부분 관찰 가능하며 확률적인 수집형 카드 게임인 허스토나에서 AI 에이전트를 효과적으로 평가할 수 있는가?
• RQ2 실시간으로 알려지지 않은 상대의 덱에 대응하고 카드 시너지를 효과적으로 활용할 수 있는 전략은 무엇인가?
• RQ3 에이전트 성능은 다양한 덱 구성과 메타게임 역학에 따라 어떻게 달라지는가?
• RQ4 다양한 시너지가 있는 사전 구성 또는 사용자 생성 덱에 대해 일반화할 수 있도록 에이전트를 훈련시킬 수 있는가?
• RQ5 다양하고 대규모의 덱 구성에 대응하기 위해 AI 평가 체계를 어떻게 확장할 수 있는가?

주요 결과

• 허스토나-AI 경쟁 대회는 높은 복잡도와 부분 관찰 가능성으로 인해 전략적 요소가 풍부한 환경에서 AI 에이전트 평가를 위한 통합 프레임워크를 제공한다.
• '사전 구성 덱 플레이' 트랙은 고정된 알려진 덱에 대해 에이전트를 평가함으로써 불확실성 하에서의 전술적 의사결정에 초점을 맞춘다.
• '사용자 생성 덱 플레이' 트랙은 사용자나 커뮤니티가 제작한 덱에 대해 에이전트의 적응 능력을 평가하며, 전략적 유연성과 시너지 활용 능력을 강조한다.
• 무작위 카드 뽑기로 인한 변동성을 줄이기 위해 여러 차례 매치를 반복하고, 신뢰할 수 있는 승률 추정을 확보한다.
• 경쟁 후 에이전트 제출을 공개함으로써 반복적 개선과 재현 가능성을 지원하는 프레임워크를 제공한다.
• 향후 덱 빌딩, 드래프트 모드, 게임 밸런싱 등의 트랙을 계획 중이며, 수집형 카드 게임 분야의 AI 연구 범위를 확장할 예정이다.