[论文解读] Agent-Based Adaptive Level Generation for Dynamic Difficulty Adjustment in Angry Birds

Matthew Stephenson, Jochen Renz|arXiv (Cornell University)|Feb 7, 2019

Artificial Intelligence in Games参考文献 36被引用 6

一句话总结

本文提出了一种基于智能体的自适应关卡生成方法，用于《愤怒的小鸟》游戏，通过遗传算法根据智能体表现动态调整关卡难度。该方法通过演化关卡生成器参数以匹配目标通关率或相对难度，为人类玩家和AI智能体生成个性化的挑战性关卡，显著提升了强化学习智能体的训练与评估效率。

ABSTRACT

This paper presents an adaptive level generation algorithm for the physics-based puzzle game Angry Birds. The proposed algorithm is based on a pre-existing level generator for this game, but where the difficulty of the generated levels can be adjusted based on the player's performance. This allows for the creation of personalised levels tailored specifically to the player's own abilities. The effectiveness of our proposed method is evaluated using several agents with differing strategies and AI techniques. By using these agents as models / representations of real human player's characteristics, we can optimise level properties efficiently over a large number of generations. As a secondary investigation, we also demonstrate that by combining the performance of several agents together it is possible to generate levels that are especially challenging for certain players but not others.

研究动机与目标

• 为解决训练和评估《愤怒的小鸟》AI智能体时关卡数量有限且缺乏个性化的问题。
• 通过根据个体玩家或智能体的表现自适应调整难度，提升程序化关卡生成的有效性。
• 实现为特定智能体设计具有挑战性的关卡，同时对其他智能体保持可玩性，从而提升基准测试与训练效率。
• 探索自适应生成在加速强化学习智能体训练方面的潜力，聚焦于最适合学习的最优难度关卡。

提出的方法

• 该方法使用遗传算法演化现有关卡生成器（Iratus Aves）的参数，以生成具有期望难度特征的关卡。
• 基于智能体表现定义适应度函数：一个用于实现目标通关率（Fitness_p），另一个用于最大化与其他智能体相比的相对难度（Fitness_m）。
• 利用智能体在多个关卡中的表现作为人类玩家行为的代理，使生成器能够适应不同技能水平或策略的智能体。
• 生成器通过多代迭代演化关卡参数，利用选择、交叉和变异操作，以优化目标难度指标。
• 该方法支持个性化难度（例如，为特定智能体实现50%的通关率）和对比性难度（例如，对智能体A困难但对智能体B简单）。
• 通过使用具有不同策略的多样化AI智能体进行评估，模拟人类玩家的多样性。

实验结果

研究问题

• RQ1 智能体表现能否作为可靠代理，用于指导《愤怒的小鸟》中自适应关卡生成的人类玩家技能评估？
• RQ2 遗传算法在多大程度上能优化关卡生成器参数，以实现特定智能体的目标通关率？
• RQ3 能否生成对某一智能体特别困难但对其他智能体仍较简单的关卡？该方法在识别智能体弱点方面的有效性如何？
• RQ4 与随机或固定关卡生成相比，自适应关卡生成在多大程度上提升了强化学习智能体的训练效率？
• RQ5 所提出的方法能否推广至具有相似机制的其他物理益智类游戏？

主要发现

• 自适应关卡生成器成功为单个智能体生成了目标通关率（例如50%）的关卡，证明了动态难度调整的有效性。
• 该方法生成的关卡对特定智能体显著更难，从而能够识别出智能体的特定弱点。
• 使用Fitness_m函数生成的关卡在不同智能体之间产生了显著的性能差异，使其非常适合基准测试与对比评估。
• 该方法通过聚焦于智能体当前仅偶尔能通关的关卡，实现了强化学习智能体的高效训练，从而最大化延迟奖励带来的学习信号。
• 与随机或静态关卡生成相比，该方法通过根据智能体能力定制难度，提升了训练过程中的信息获取量，表现更优。
• 该框架具有可扩展性，适用于具有相似机制的其他物理益智类游戏，显示出广泛的可重用潜力。