[论文解读] Evolutionary Approach to Collectible Card Game Arena Deckbuilding using Active Genes

Jakub Kowalski, Radosław Miernik|arXiv (Cornell University)|Jan 5, 2020

Artificial Intelligence in Games参考文献 12被引用 9

一句话总结

本文提出一种带有活跃基因的进化算法，用于优化《魔法风云会：代码传说》卡牌游戏中竞技场模式的卡组构建策略。该游戏具有高度的非确定性与未知的卡池。通过仅在每次抽卡中限制遗传算子作用于最相关的（活跃）基因，该方法加速了学习过程，并在基线方法上实现了性能提升，部分变体在噪声较大的适应度评估下仍取得了统计上更优的胜率。

ABSTRACT

In this paper, we evolve a card-choice strategy for the arena mode of Legends of Code and Magic, a programming game inspired by popular collectible card games like Hearthstone or TES: Legends. In the arena game mode, before each match, a player has to construct his deck choosing cards one by one from the previously unknown options. Such a scenario is difficult from the optimization point of view, as not only the fitness function is non-deterministic, but its value, even for a given problem instance, is impossible to be calculated directly and can only be estimated with simulation-based approaches. We propose a variant of the evolutionary algorithm that uses a concept of an active gene to reduce the range of the operators only to generation-specific subsequences of the genotype. Thus, we batched learning process and constrained evolutionary updates only to the cards relevant for the particular draft, without forgetting the knowledge from the previous tests. We developed and tested various implementations of this idea, investigating their performance by taking into account the computational cost of each variant. Performed experiments show that some of the introduced active-genes algorithms tend to learn faster and produce statistically better draft policies than the compared methods.

研究动机与目标

• 解决在集换式卡牌游戏竞技场模式中演化高效抽卡策略的挑战，其中卡池未知且适应度具有非确定性。
• 通过仅聚焦于基因型中相关基因子集的遗传算子，降低计算成本并提升进化策略在集换式卡牌游戏卡组构建中的学习效率。
• 开发并评估多种活跃基因变体，这些变体选择性地仅更新每局抽卡中最重要的基因部分，以提升收敛速度与性能。

提出的方法

• 引入‘活跃基因’的概念——即与当前抽卡相关的基因型动态子集，并将遗传算子仅应用于该子集。
• 通过仅从特定子集（而非整个种群）中选择亲代与子代进行合并来实现选择，以在代际间保留相关知识。
• 使用基于仿真的适应度估计方法，评估在高度随机环境中的卡组表现。
• 设计多种算法变体：AG_weights、AG_weights/Kg 和 AG_weights/2d，其差异在于抽卡的复用方式与代际调度策略。
• 通过复用同一局抽卡于多个代际来批量学习，减少所需仿真的次数，同时保持性能。
• 采用计算成本度量以确保不同变体间的公平比较，相应调整代数与仿真次数。

实验结果

研究问题

• RQ1 在集换式卡牌游戏竞技场模式卡组构建中，仅将遗传算子限制在每局抽卡的活跃基因上的进化算法，是否能优于标准的进化方法？
• RQ2 在非确定性、基于仿真的适应度评估环境中，活跃基因所占比例如何影响学习速度与最终性能？
• RQ3 在使用活跃基因时，代数与每代游戏仿真次数之间的最优权衡是什么？
• RQ4 尽管适应度估计存在高噪声，活跃基因变体是否仍能实现优于基线进化方法的性能？
• RQ5 在代际间复用抽卡对集换式卡牌游戏竞技场模式学习过程的可靠性与效率有何影响？

主要发现

• 部分活跃基因变体，特别是 AG_weights/2d 和 AG_weights/4d，在统计上优于基线进化方法（Evo_base）的平均表现。
• AG_weights/2d 变体表现优于基线方法，并展现出一致的性能提升，尽管并非表现最佳的变体。
• 活跃基因比例影响性能表现，较低比例（如 AG_weights 中约 56%）通常优于较高比例（如 AG_weights/4d 中约 95%），尽管在 AG_weights 中该趋势不够明显。
• AG_weights/Kg 变体因在每代中复用抽卡多次但每代仿真次数不足，导致性能较差，表明每局抽卡的探索不足会损害学习效果。
• 该方法显著减少了所需的游戏仿真次数，与标准方法相比，仅用不到 30 秒的仿真时间即可达到与随机玩家相当的性能。
• 总体而言，基于活跃基因的算法学习速度更快，生成的抽卡策略强于基线方法，证明了其在噪声大、高变异性的集换式卡牌游戏环境中的有效性。