[논문 리뷰] Deep Surrogate Assisted MAP-Elites for Automated Hearthstone Deckbuilding

Yulun Zhang, Matthew C. Fontaine외 2명|arXiv (Cornell University)|2021. 12. 07.

Sports Analytics and Performance인용 수 4

한 줄 요약

이 논문은 자동으로 허스턴드 데크를 제작하는 데 있어 샘플 효율성을 향상시키기 위해 온라인 서rogate 모델링과 MAP-Elites를 융합한 모델 기반 품질다양성 알고리즘인 Deep Surrogate Assisted MAP-Elites (DSA-ME)를 제안한다. 동적으로 생성된 고성능 데크 데이터를 기반으로 반복적으로 훈련하는 딥 뉴럴 네트워크 서rogate 모델을 사용하여 MAP-Elites를 안내함으로써, 이 방법은 뛰어난 샘플 효율성을 확보하고 허스턴드 데크 생성 분야에서 품질다양성 측면에서 새로운 최고 성능(SOTA)을 달성한다.

ABSTRACT

We study the problem of efficiently generating high-quality and diverse content in games. Previous work on automated deckbuilding in Hearthstone shows that the quality diversity algorithm MAP-Elites can generate a collection of high-performing decks with diverse strategic gameplay. However, MAP-Elites requires a large number of expensive evaluations to discover a diverse collection of decks. We propose assisting MAP-Elites with a deep surrogate model trained online to predict game outcomes with respect to candidate decks. MAP-Elites discovers a diverse dataset to improve the surrogate model accuracy, while the surrogate model helps guide MAP-Elites towards promising new content. In a Hearthstone deckbuilding case study, we show that our approach improves the sample efficiency of MAP-Elites and outperforms a model trained offline with random decks, as well as a linear surrogate model baseline, setting a new state-of-the-art for quality diversity approaches in automated Hearthstone deckbuilding. We include the source code for all the experiments at: https://github.com/icaros-usc/EvoStone2.

연구 동기 및 목표

• 복잡하고 변동성이 큰 게임(예: 허스턴드)에 대해 자동 게임 콘텐츠 생성의 샘플 효율성을 향상시키기 위해.
• 품질다양성 알고리즘에서 데크의 전략적 성능 평가를 위한 전면적 게임 시뮬레이션의 높은 계산 비용 문제를 해결하기 위해.
• 온라인, 딥 서rogate 모델이 정규화된 콘텐츠 생성에서 MAP-Elites의 성능과 다양성 향상에 기여할 수 있는지 탐색하기 위해.
• 고차원 이산 검색 공간에서 탐색 효과성에 영향을 미치는 서rogate 모델의 정밀도와 데이터 분포의 영향을 조사하기 위해.
• 지속적인 모델 개선을 위해 서rogate 기반 탐색과 실제 게임 평가를 번갈아 수행하는 확장 가능한 반복적 프레임워크를 개발하기 위해.

제안 방법

• 이 방법은 이중 루프 알고리즘을 사용한다: 내부 루프는 고성능 데크 후보를 생성하기 위해 딥 뉴럴 네트워크 서rogate 모델을 기반으로 MAP-Elites를 실행한다.
• 외부 루프는 내부 루프에서 도출된 상위 성능 데크(엘리트)를 SabberStone 게임 엔진을 사용하여 평가하여 실제 성능 및 플레이나이프 스타일 데이터를 수집한다.
• 외부 루프에서 수집된 실제 데이터를 기반으로 서rogate 모델을 온라인에서 재학습하여 예측 정확도를 시간이 지남에 따라 향상시킨다.
• 서rogate 모델은 주어진 데크에 대한 승률(목표)과 게임 길이/손패 크기(측정 기준)를 예측하는 딥 뉴럴 네트워크이다.
• 각 반복 후, MAP-Elites 아카이브는 재초기화되어 행동 공간 내 새로운 영역을 탐색하도록 유도되며, 비최적 영역으로 수렴하는 것을 방지한다.
• 수렴할 때까지 이 과정을 반복하여 실제 게임 평가 기반으로 고성능이며 다양한 데크의 최종 아카이브를 생성한다.

Figure 1. An overview of the Deep Surrogate Assisted MAP-Elites (DSA-ME) algorithm applied to Hearthstone Deckbuilding: Our approach consists of an inner loop (in blue) and an outer loop (in red). In the inner loop, we exploit a deep surrogate model of the SabberStone simulator by searching for a di

실험 결과

연구 질문

• RQ1 온라인으로 훈련된 딥 서rogate 모델이 허스턴드 데크 제작에서 MAP-Elites의 샘플 효율성을 뚜렷이 향상시킬 수 있는가?
• RQ2 온라인 서rogate 모델의 성능은 무작위로 생성된 데크 데이터로 훈련된 오프라인 모델과 비교해 어떻게 다른가?
• RQ3 각 반복에서 MAP-Elites 내부 루프 아카이브를 재설정함으로써 최종 데크 컬렉션의 커버리지와 다양성이 향상되는가?
• RQ4 보조 카드 특성(예: 마나 비용, 텍스트)의 포함이 서rogate 모델의 일반화 능력과 예측 정확도에 어느 정도 기여하는가?
• RQ5 저품질의 피드포워드 신경망 서rogate 모델이 고차원 이산 카드 게임 공간에서 품질다양성 탐색을 효과적으로 이끌 수 있는가?

주요 결과

• DSA-ME는 모델 프리(MAP-Elites) 기반 기준선과 임의의 데크 데이터로 훈련된 오프라인 서rogate 모델을 모두 능가하며, 자동 허스턴드 데크 제작 분야에서 새로운 최고 성능(QD-score)을 달성했다.
• 기준선 대비 전략적 플레이나이프 스타일(예: 어그로 대비 컨트롤)의 커버리지와 다양성이 뛰어나, 최종 아카이브의 행동 공간 분포를 통해 이를 입증했다.
• 각 반복에서 MAP-Elites 내부 루프 아카이브를 재설정함으로써 성능 향상이 뚜렷하게 이루어졌으며, 재설정하지 않은 기준선은 낮은 QD-score와 커버리지로 나타나, 다양성 탐색에서의 '사망' 개념의 유용성을 확인했다.
• DSA-ME 전체 런에서 수집된 데이터로 훈련된 서rogate 모델은 높은 예측 정확도를 보였지만, 무작위 데크로만 훈련된 오프라인 모델은 상당히 열 劣한 성능을 보였다.
• 서rogate 모델 입력에 보조 카드 특성(예: 마나 비용, 공격력, 체력)을 추가해도 성능 향상이 없었으며, 이는 현재의 백-오브-카드 인코딩 방식이나 모델 정밀도의 한계를 시사한다.
• 딥 서rogate 모델은 고차원 이산 검색 공간에서 MAP-Elites의 효과적인 안내를 가능하게 하여, 기존의 가우시안 프로세스 서rogate 모델을 뛰어넘는 확장성과 유연성을 입증했다.

Figure 2. Quantitative analysis of the elites in the archive with the surrogate model predicting objective and measures (without ancillary data). In the rightmost plots, the y-axis shows the percentage of filled cells in the archive that had average health difference larger than the corresponding va