[论文解读] Controllable Level Blending between Games using Variational Autoencoders

Anurag Sarkar, Zhihan Yang+1 more|arXiv (Cornell University)|Feb 27, 2020

Artificial Intelligence in Games参考文献 39被引用 22

一句话总结

本文提出使用变分自编码器（VAEs）来实现对不同游戏关卡片段的细粒度、可控制混合，具体针对《超级马里奥兄弟》和《小伊卡洛斯》两款游戏。通过学习一个共享的潜在空间，该空间能够捕捉两者的结构与美学特性。该方法支持插值、通过进化搜索进行属性优化以及按比例混合，相较于生成对抗网络（GANs）和长短期记忆网络（LSTMs），在协作式关卡设计中表现更优，因其能够接受潜在向量和原始关卡输入。

ABSTRACT

Previous work explored blending levels from existing games to create levels for a new game that mixes properties of the original games. In this paper, we use Variational Autoencoders (VAEs) for improving upon such techniques. VAEs are artificial neural networks that learn and use latent representations of datasets to generate novel outputs. We train a VAE on level data from Super Mario Bros. and Kid Icarus, enabling it to capture the latent space spanning both games. We then use this space to generate level segments that combine properties of levels from both games. Moreover, by applying evolutionary search in the latent space, we evolve level segments satisfying specific constraints. We argue that these affordances make the VAE-based approach especially suitable for co-creative level design and compare its performance with similar generative models like the GAN and the VAE-GAN.

研究动机与目标

• 开发一种可控制的、协作式的关卡生成系统，通过机器学习技术融合多款游戏的特性。
• 克服先前基于LSTM的混合方法的局限性，后者仅能交替使用游戏关卡片段，且对关卡属性缺乏细粒度控制。
• 使设计师能够生成满足特定约束（如难度、密度）且具有期望比例游戏元素的关卡片段。
• 比较VAEs与GANs及VAE-GANs在跨游戏关卡混合中的表现，重点关注可用性与设计控制能力。
• 探索将VAEs作为交互式、设计师参与式关卡设计工具基础的可行性。

提出的方法

• 在《超级马里奥兄弟》和《小伊卡洛斯》中各训练一个VAE，以学习一个共享的、解耦的潜在空间，用于表示两者的关卡特性。
• 利用VAE的编码器将关卡片段映射为潜在向量，从而实现在不同游戏关卡片段之间的插值。
• 在潜在空间中应用进化搜索，以演化出能生成满足用户定义约束（如难度、密度、非线性）的关卡片段的潜在向量。
• 允许直接向VAE解码器输入关卡片段（而不仅限于潜在向量），从而提供比GANs更直观的控制方式。
• 通过演化潜在向量来优化目标比例，使每个游戏的潜在表示在生成结果中保持平衡贡献。
• 在潜在空间中使用向量运算，探索特征迁移及关卡片段之间的替代连接方式。

实验结果

研究问题

• RQ1 VAEs能否有效学习一个共享的潜在空间，以捕捉《超级马里奥兄弟》和《小伊卡洛斯》这两款风格迥异游戏的结构与美学特性？
• RQ2 与GANs和LSTMs相比，基于VAE的方法在实现跨游戏关卡片段的可控制混合方面表现如何？
• RQ3 在VAE的潜在空间中，进化搜索在多大程度上能生成满足特定设计约束（如难度或密度）的关卡片段？
• RQ4 VAE能否同时支持在不同游戏关卡片段之间的插值，以及生成具有期望比例各游戏元素的新关卡片段？
• RQ5 能够直接输入原始关卡片段（而不仅限于潜在向量）的能力，在协作式关卡设计中如何提升设计师的控制力？

主要发现

• VAE成功学习了一个共享的潜在空间，覆盖了《超级马里奥兄弟》和《小伊卡洛斯》的关卡，实现了来自两款游戏的关卡片段之间的有意义插值。
• 在潜在空间中进行的进化搜索生成了满足用户指定约束（如目标难度、密度、非线性）的关卡片段，证明了其优化能力的有效性。
• 由于能够接受原始关卡片段作为输入，VAE在协作式设计中优于GANs，提供了比仅接受潜在向量的GANs更高的控制力。
• 通过演化平衡各游戏潜在表示贡献的潜在向量，该方法实现了游戏元素的按比例混合。
• 在不同游戏关卡片段之间的插值产生了结构和美学特征均保留的连贯混合关卡片段。
• VAE方法支持高级功能，如生成关卡片段之间的替代连接以及通过向量运算实现特征迁移，而这些功能在GANs中并非原生支持。