[论文解读] Monte-Carlo Tree Search for Simulation-based Strategy Analysis

Alexander Zook, Brent Harrison+1 more|arXiv (Cornell University)|Aug 4, 2019

Artificial Intelligence in Games参考文献 35被引用 29

一句话总结

本文提出使用蒙特卡洛树搜索（MCTS）并调整模拟次数，以在回合制游戏中模拟不同技能水平的玩家，通过四个层级的度量标准——概要、原子、链条和动作空间——实现游戏设计的自动化分析。该方法在《Scrabble》中成功识别出游戏平衡性，在自定义卡牌游戏《Cardonomicon》中检测出设计缺陷（如卡牌协同效应缺失），揭示了不同技能水平下战略选择的不平衡性。

ABSTRACT

Games are often designed to shape player behavior in a desired way; however, it can be unclear how design decisions affect the space of behaviors in a game. Designers usually explore this space through human playtesting, which can be time-consuming and of limited effectiveness in exhausting the space of possible behaviors. In this paper, we propose the use of automated planning agents to simulate humans of varying skill levels to generate game playthroughs. Metrics can then be gathered from these playthroughs to evaluate the current game design and identify its potential flaws. We demonstrate this technique in two games: the popular word game Scrabble and a collectible card game of our own design named Cardonomicon. Using these case studies, we show how using simulated agents to model humans of varying skill levels allows us to extract metrics to describe game balance (in the case of Scrabble) and highlight potential design flaws (in the case of Cardonomicon).

研究动机与目标

• 为解决缺乏可扩展、自动化的分析方法来研究游戏设计如何影响不同技能水平玩家行为的问题。
• 克服人工测试的局限性，后者在探索策略行为空间时耗时且不全面。
• 开发一种基于模拟的框架，通过MCTS模拟次数的变化来建模不同技能水平的玩家，实现系统性的游戏设计评估。
• 提出一个多层级度量分类法——概要、原子、链条和动作空间——用于分析模拟生成对局中的玩家策略。
• 展示该方法在检测两款不同类型游戏（《Scrabble》和自定义集换式卡牌游戏《Cardonomicon》）中游戏平衡性与设计缺陷方面的实用性。

提出的方法

• 使用蒙特卡洛树搜索（MCTS）并调整模拟次数，以模拟不同技能水平的玩家，其中更高的模拟次数代表更高的技能水平。
• 通过调整搜索深度和探索策略，将MCTS代理映射为类人行为，模拟认知处理能力的限制。
• 定义四个策略分析的抽象层级：概要（高层次游戏行为指标）、原子（单个动作的频率）、链条（动作序列与连击）、动作空间（随时间变化的可用动作）。
• 使用多个技能水平的MCTS代理生成模拟对局，从游戏状态转移中提取行为度量指标。
• 将该度量框架应用于两款游戏：《Scrabble》（字词游戏）和《Cardonomicon》（受《魔法风云会》和《炉石传说》启发的自定义集换式卡牌游戏）。
• 通过分析对局数据的统计方法，检测不平衡现象，如缺乏协同效应的卡牌组合或不同技能层级间动作分布的偏移。

实验结果

研究问题

• RQ1 如何在回合制游戏中使用MCTS模拟不同技能水平的玩家，以分析其策略行为？
• RQ2 模拟对局在多大程度上能揭示《Scrabble》等游戏中存在的游戏平衡性问题？
• RQ3 所提出的度量框架能否检测出自定义集换式卡牌游戏《Cardonomicon》中的设计缺陷（如缺乏战略深度或卡牌协同效应）？
• RQ4 在两款游戏中，低技能与高技能模拟玩家的动作空间和战略选择有何差异？
• RQ5 四层级度量分类法（概要、原子、链条、动作空间）能否有效组织并揭示不同技能水平下玩家策略的洞察？

主要发现

• 在《Scrabble》中，基于模拟的分析确认了即使在微调规则后游戏仍保持平衡，因为移动频率和得分等度量指标在不同技能水平间保持稳定。
• 在《Cardonomicon》中，分析显示高技能代理在中后期拥有显著更多的可玩动作和攻击机会，表明通过卡牌保留和高效法力使用实现了战略深度。
• 《Cardonomicon》中缺乏显著的动作链（连击）表明卡牌之间协同互动不足，凸显了战略多样性方面的设计缺陷。
• 《Cardonomicon》中高技能代理平均使用更多不同类型的卡牌进行出牌和攻击，体现出对资源更高效的利用和更优的战略规划。
• 动作空间分析表明，高技能代理会保留更多卡牌以备后期使用，从而增加中后期可选动作，反映出更优的长期规划能力。
• 该方法成功识别出《Cardonomicon》中低技能代理因次优卡牌保留策略，导致中盘攻击选择更少，战略选项受限。