[论文解读] Deep Surrogate Assisted MAP-Elites for Automated Hearthstone Deckbuilding

Yulun Zhang, Matthew C. Fontaine+2 more|arXiv (Cornell University)|Dec 7, 2021

Sports Analytics and Performance被引用 4

一句话总结

本文提出深度代理辅助MAP-Elites（DSA-ME），一种基于模型的质量多样性算法，通过结合在线代理建模与MAP-Elites，加速了Hearthstone套牌的自动化构建。通过迭代地在动态生成的高质量套牌数据上训练深度神经网络代理模型，并利用其引导MAP-Elites，该方法实现了更优的样本效率，并在Hearthstone套牌生成的质量多样性方面达到新的最先进水平。

ABSTRACT

We study the problem of efficiently generating high-quality and diverse content in games. Previous work on automated deckbuilding in Hearthstone shows that the quality diversity algorithm MAP-Elites can generate a collection of high-performing decks with diverse strategic gameplay. However, MAP-Elites requires a large number of expensive evaluations to discover a diverse collection of decks. We propose assisting MAP-Elites with a deep surrogate model trained online to predict game outcomes with respect to candidate decks. MAP-Elites discovers a diverse dataset to improve the surrogate model accuracy, while the surrogate model helps guide MAP-Elites towards promising new content. In a Hearthstone deckbuilding case study, we show that our approach improves the sample efficiency of MAP-Elites and outperforms a model trained offline with random decks, as well as a linear surrogate model baseline, setting a new state-of-the-art for quality diversity approaches in automated Hearthstone deckbuilding. We include the source code for all the experiments at: https://github.com/icaros-usc/EvoStone2.

研究动机与目标

• 提升自动化游戏内容生成中的样本效率，特别是针对Hearthstone等复杂、高方差的游戏。
• 解决在质量多样性算法中通过完整游戏模拟评估套牌所导致的高计算成本问题。
• 探究在线、深度代理模型是否能够提升MAP-Elites在程序化内容生成中的性能与多样性。
• 研究代理模型保真度与数据分布对高维离散搜索空间中搜索效率的影响。
• 开发一种可扩展的迭代框架，通过交替进行代理引导搜索与真实游戏评估，实现模型的持续优化。

提出的方法

• 该方法采用双层循环算法：内层循环在深度神经网络代理模型上运行MAP-Elites，以生成多样化且高性能的套牌候选。
• 外层循环使用SabberStone游戏引擎对内层循环中选出的顶级套牌（精英）进行评估，收集真实性能与游戏风格数据。
• 外层循环收集的真实数据被用于在线重训练代理模型，从而随时间推移提升其预测准确性。
• 代理模型是一个深度神经网络，用于预测给定套牌的胜率（目标）以及游戏时长/手牌数量（度量）。
• 每次迭代后，MAP-Elites档案库被重置（重新初始化），以促进在行为空间中探索新区域，防止收敛至次优区域。
• 该过程持续迭代直至收敛，最终生成基于真实游戏评估的高质量、多样化套牌档案。

Figure 1. An overview of the Deep Surrogate Assisted MAP-Elites (DSA-ME) algorithm applied to Hearthstone Deckbuilding: Our approach consists of an inner loop (in blue) and an outer loop (in red). In the inner loop, we exploit a deep surrogate model of the SabberStone simulator by searching for a di

实验结果

研究问题

• RQ1 在线训练深度代理模型是否能显著提升MAP-Elites在Hearthstone套牌构建中的样本效率？
• RQ2 在线代理模型的性能与在随机生成套牌上训练的离线模型相比如何？
• RQ3 在每次迭代中重置MAP-Elites内层档案库是否能提升最终套牌集合的覆盖范围与多样性？
• RQ4 在代理模型输入中加入辅助卡牌特征（如法力值、文本描述）在多大程度上提升了模型泛化能力与预测准确性？
• RQ5 低保真度的前馈神经网络代理模型是否能有效引导高维离散卡牌游戏空间中的质量多样性搜索？

主要发现

• DSA-ME在性能上优于无模型的MAP-Elites基线方法以及在随机生成套牌上训练的离线代理模型，在自动化Hearthstone套牌构建中实现了新的SOTA QD得分。
• 与基线方法相比，该方法在战略游戏风格（如快攻与控制型）的覆盖范围与多样性方面表现更优，这从最终档案在行为空间中的分布可得到证实。
• 在每次迭代中重置MAP-Elites内层档案库显著提升了性能，非重置基线方法表现出更低的QD得分与覆盖范围，证实了在发散搜索中引入‘死亡’机制的优势。
• 在完整DSA-ME运行过程中收集的数据上训练代理模型可实现高预测准确性，而仅在随机套牌上离线训练则导致性能显著下降。
• 在代理模型输入中加入辅助卡牌特征（如法力值、攻击力、生命值）并未提升性能，表明当前的‘袋装卡牌’编码方式或模型保真度存在局限性。
• 深度代理模型能够有效引导MAP-Elites在高维离散搜索空间中的探索，证明其在可扩展性方面超越了传统高斯过程代理模型。

Figure 2. Quantitative analysis of the elites in the archive with the surrogate model predicting objective and measures (without ancillary data). In the rightmost plots, the y-axis shows the percentage of filled cells in the archive that had average health difference larger than the corresponding va