[论文解读] Finding Game Levels with the Right Difficulty in a Few Trials through Intelligent Trial-and-Error

Miguel González-Duque, Rasmus Palm+2 more|arXiv (Cornell University)|May 15, 2020

Artificial Intelligence in Games参考文献 40被引用 26

一句话总结

本文提出了一种智能试错（IT&E）框架，结合贝叶斯优化与MAP-Elites，仅通过几次试验即可生成并搜索出目标难度的游戏关卡。通过演化多样化关卡，并利用代理AI智能体的性能数据作为先验，该方法能高效识别出符合特定难度的关卡，使规划智能体达到最优难度，且在10次以内迭代内完成，准确率极高。

ABSTRACT

Methods for dynamic difficulty adjustment allow games to be tailored to particular players to maximize their engagement. However, current methods often only modify a limited set of game features such as the difficulty of the opponents, or the availability of resources. Other approaches, such as experience-driven Procedural Content Generation (PCG), can generate complete levels with desired properties such as levels that are neither too hard nor too easy, but require many iterations. This paper presents a method that can generate and search for complete levels with a specific target difficulty in only a few trials. This advance is enabled by through an Intelligent Trial-and-Error algorithm, originally developed to allow robots to adapt quickly. Our algorithm first creates a large variety of different levels that vary across predefined dimensions such as leniency or map coverage. The performance of an AI playing agent on these maps gives a proxy for how difficult the level would be for another AI agent (e.g. one that employs Monte Carlo Tree Search instead of Greedy Tree Search); using this information, a Bayesian Optimization procedure is deployed, updating the difficulty of the prior map to reflect the ability of the agent. The approach can reliably find levels with a specific target difficulty for a variety of planning agents in only a few trials, while maintaining an understanding of their skill landscape.

研究动机与目标

• 解决现有动态难度调整（DDA）方法仅能调整有限游戏特征（如敌人强度或资源可用性）的局限性。
• 开发一种方法，在极少试验次数内生成完整且多样的游戏关卡，并实现特定难度目标。
• 通过在贝叶斯优化框架中利用代理AI智能体的性能数据作为先验，实现快速、数据高效的难度校准。
• 保持对不同智能体行为下关卡难度的技能图谱理解，从而洞察关卡难度的成因。
• 探索利用AI智能体先验预测其他智能体或人类玩家难度的可行性，潜在应用于教育与康复类游戏。

提出的方法

• 该方法使用MAP-Elites演化一个多样化的游戏关卡档案，基于手工设计的特征（如地图覆盖率和宽容度）将关卡编码为行为图谱。
• 每个关卡由代理AI智能体（如贪婪树搜索、MCTS、随机策略）进行评估，并记录其性能（如通关率）作为难度的代理指标。
• 在性能数据上训练高斯过程回归模型，以预测未见过关卡的难度，行为图谱作为输入空间。
• IT&E算法基于一个平衡探索与利用的采集函数选择下一次测试的关卡，在每次试验后更新GP模型。
• 该过程通过不断用新性能数据更新先验，迭代优化搜索，最终收敛至目标难度的关卡（如60%通关率）。
• 该方法使用来自另一智能体性能的先验图谱来启动搜索，即使先验质量较弱或为随机先验，也能实现快速收敛。

实验结果

研究问题

• RQ1 智能试错（IT&E）框架是否能仅通过几次试验高效识别出具有特定目标难度的游戏关卡？
• RQ2 一个AI智能体的性能数据在多大程度上可作为预测另一智能体难度的可靠先验？
• RQ3 该方法在保持不同智能体行为下关卡难度技能图谱方面的有效性如何？
• RQ4 先验图谱的质量是否显著影响收敛速度？随机先验是否仍能实现快速结果？
• RQ5 该方法能否通过使用人类游戏轨迹或类人智能体作为先验，扩展至真实人类玩家？

主要发现

• IT&E方法在少于10次试验内成功识别出各类规划智能体的目标难度关卡（如60%通关率），其中一例仅用3次更新即达到最优难度。
• 该方法在难度估计方面表现出高精度，热力图可视化中始终能稳定选择接近理想难度（60%通关率）的关卡。
• 即使使用随机先验图谱（基线），性能表现依然良好，表明性能提升的关键驱动因素是贝叶斯更新机制，而非先验质量。
• 行为图谱揭示了不同的技能特征：随机智能体在敌人方面表现困难，而MCTS智能体则能有效应对，表明该方法能捕捉智能体特有的能力特征。
• 采集函数鼓励探索，导致选择非直观但高效的关卡，即使在局部区域性能未达最优。
• 该方法保持了对技能图谱的稳健理解，从而能够洞察不同关卡特征对各类智能体难度的贡献。