[论文解读] Co-Creative Level Design via Machine Learning

Matthew Guzdial, Nicholas Liao+1 more|arXiv (Cornell University)|Sep 25, 2018

Artificial Intelligence in Games参考文献 13被引用 4

一句话总结

本文提出了一种协作式关卡设计框架，其中人类设计师与机器学习智能体协同生成游戏关卡，表明现有PLGML方法在协作创作中存在不足。该研究引入了主动学习的改进方式——'周期性'与'持续性'——结果显示，周期性微调使用户满意度平均提升3%，而持续性学习因用户差异过大而失败。

ABSTRACT

Procedural Level Generation via Machine Learning (PLGML), the study of generating game levels with machine learning, has received a large amount of recent academic attention. For certain measures these approaches have shown success at replicating the quality of existing game levels. However, it is unclear the extent to which they might benefit human designers. In this paper we present a framework for co-creative level design with a PLGML agent. In support of this framework we present results from a user study and results from a comparative study of PLGML approaches.

研究动机与目标

• 填补通过机器学习进行程序化关卡生成（PLGML）在协作式设计中的空白，其中需要超越静态内容生成的人机协作。
• 探究现有PLGML方法在实践中是否能有效支持协作式关卡设计。
• 证明协作式PLGML需要在协作式数据集或其近似数据上进行训练，而不仅仅是静态游戏关卡语料库。
• 评估主动学习策略在使PLGML智能体适应个体人类设计师偏好方面的有效性。
• 提供证据表明，用户的设计风格差异过大，无法实现泛化，因此协作式系统需要个性化适应。

提出的方法

• 将三种现有的PLGML模型——马尔可夫链、贝叶斯网络和LSTM——改编为迭代式、回合制的AI协作伙伴，用于协作式关卡编辑界面。
• 通过一个公开的《超级马里奥兄弟》关卡编辑器开展用户研究，实现通过回合制添加内容的实时人机协作。
• 设计了两种主动学习变体：'周期性'（在每位用户会话后重新训练）和'持续性'（在用户间进行增量权重更新）。
• 在模拟的人机交互数据集上训练智能体，使用基于关卡通关率和设计质量指标的奖励信号。
• 通过后端日志记录所有人类和AI的操作，实现对智能体性能和用户满意度的精确评估。
• 通过模拟交互设置评估智能体性能，其中AI伙伴根据用户行为进行适应，性能以最大可能奖励的百分位数衡量。

实验结果

研究问题

• RQ1 现有通过机器学习进行程序化关卡生成（PLGML）的方法能否有效支持与人类设计师的协作式关卡设计？
• RQ2 用户的设计风格在多大程度上存在差异，以至于无法在协作式PLGML系统中实现个体间的泛化？
• RQ3 主动学习是否能提升PLGML智能体在协作式关卡设计中适应个体人类设计师的能力？
• RQ4 与累积式学习相比，基于用户的周期性微调（每用户一次）在适应多样化用户偏好方面是否更有效？
• RQ5 能否使用近似协作式数据集来训练有效的协作式PLGML智能体，而无需为每个新游戏都进行完整用户研究？

主要发现

• 现有PLGML方法在协作式关卡设计中不足，因其无法适应个体用户偏好和设计变异性。
• 与非主动基线相比，周期性主动学习变体使用户满意度平均提升约3%，以最大可能奖励的百分位数衡量。
• 在十一位参与者中有六位，持续性主动学习变体的表现劣于周期性和非主动基线，表明其在多样化用户行为间泛化能力差。
• 参与者8和9在主动学习下获得最大提升——奖励提升超过十倍，表明充分互动可实现有效个性化。
• 非主动基线的平均奖励百分位数为1.45，周期性变体提升至1.47，而持续性变体在最后一位参与者处降至-4.62。
• 结果表明，用户的设计模式差异过大，无法由单一模型实现泛化，因此协作式系统必须通过主动学习实现个性化适应。