[논문 리뷰] Controllable Level Blending between Games using Variational Autoencoders

Anurag Sarkar, Zhihan Yang외 1명|arXiv (Cornell University)|2020. 02. 27.

Artificial Intelligence in Games참고 문헌 39인용 수 22

한 줄 요약

이 논문은 슈퍼 마리오 브라더스와 키드 일카르스의 게임 세그먼트를 정교하고 제어 가능한 방식으로 혼합할 수 있도록 하는 변동형 오토인코더(VAE)의 사용을 제안한다. 이는 두 게임의 구조적 및 미적 특성을 모두 포괄하는 공유된 잠재공간을 학습함으로써 이루어지며, 보간, 유전적 탐색을 통한 성질 최적화, 비율 기반 혼합을 지원한다. 기존의 GAN과 LSTMs보다 더 뛰어난 공창적 레벨 설계 성능을 보이며, 잠재벡터뿐 아니라 원시 레벨 입력까지 수용할 수 있다는 점에서 유리하다.

ABSTRACT

Previous work explored blending levels from existing games to create levels for a new game that mixes properties of the original games. In this paper, we use Variational Autoencoders (VAEs) for improving upon such techniques. VAEs are artificial neural networks that learn and use latent representations of datasets to generate novel outputs. We train a VAE on level data from Super Mario Bros. and Kid Icarus, enabling it to capture the latent space spanning both games. We then use this space to generate level segments that combine properties of levels from both games. Moreover, by applying evolutionary search in the latent space, we evolve level segments satisfying specific constraints. We argue that these affordances make the VAE-based approach especially suitable for co-creative level design and compare its performance with similar generative models like the GAN and the VAE-GAN.

연구 동기 및 목표

• 기계학습을 활용해 다수의 게임에서 성질을 혼합하는 제어 가능하고 공창적인 레벨 생성 시스템을 개발하는 것.
• 이전의 LSTM 기반 혼합 방식이 게임 세그먼트 간 전환만 가능하고 레벨 성질에 대한 정교한 제어가 부족했던 점을 보완하는 것.
• 디자이너가 특정 제약 조건(예: 난이도, 조밀도 등)을 충족하고 각 게임 요소의 원하는 비율을 가진 레벨 세그먼트를 생성할 수 있도록 하는 것.
• VAE, GAN, VAE-GAN을 비교하여, 다양한 게임 간 레벨 혼합에서의 사용성과 디자인 제어 능력을 평가하는 것.
• 디자이너가 레벨 설계 과정에 참여하는 상호작용형 도구의 기초로 VAE를 활용할 수 있는지의 가능성을 탐색하는 것.

제안 방법

• 슈퍼 마리오 브라더스와 키드 일카르스 각각 한 개의 레벨을 학습하여, 두 게임의 성질을 모두 포괄하는 공유된 분리 가능한 잠재공간을 학습하는 VAE를 훈련한다.
• VAE의 인코더를 사용해 레벨 세그먼트를 잠재벡터로 매핑함으로써, 서로 다른 게임의 세그먼트 간 보간을 가능하게 한다.
• 유전적 탐색을 잠재공간에서 수행하여, 사용자가 정의한 제약 조건(예: 난이도, 조밀도, 비선형성 등)을 충족하는 레벨 세그먼트를 생성하는 벡터를 진화시킨다.
• 잠재벡터뿐 아니라 원시 레벨 입력까지도 VAE 디코더에 직접 입력함으로써, GAN이 잠재벡터만 수용하는 것에 비해 더 직관적인 제어를 가능하게 한다.
• 각 게임의 잠재 표현 기여도를 균형 잡는 벡터를 진화시켜, 원하는 비율로 게임 고유의 요소를 혼합하는 것을 최적화한다.
• 잠재공간 내에서 벡터 산술을 활용해 기능 이동과 레벨 세그먼트 간의 대체 연결을 탐색한다.

실험 결과

연구 질문

• RQ1 VAE는 슈퍼 마리오 브라더스와 키드 일카르스와 같은 두 개의 서로 다른 게임으로부터 구조적 및 미적 특성을 효과적으로 학습할 수 있는 공유된 잠재공간을 학습할 수 있는가?
• RQ2 VAE 기반 접근 방식은 GAN과 LSTM에 비해 게임 간 레벨 세그먼트의 제어 가능한 혼합을 얼마나 잘 지원하는가?
• RQ3 잠재공간 내에서의 유전적 탐색을 통해 난이도나 조밀도와 같은 특정 디자인 제약 조건을 충족하는 레벨 세그먼트를 얼마나 효과적으로 생성할 수 있는가?
• RQ4 VAE는 서로 다른 게임의 세그먼트 간 보간뿐만 아니라, 각 게임의 요소가 원하는 비율로 포함된 새로운 세그먼트 생성도 지원할 수 있는가?
• RQ5 잠재벡터뿐 아니라 원시 레벨 세그먼트까지 입력할 수 있다는 능력이 공창적 레벨 설계에서 디자이너의 제어력을 얼마나 향상시키는가?

주요 결과

• VAE는 슈퍼 마리오 브라더스와 키드 일카르스의 레벨을 포함하는 공유된 잠재공간을 성공적으로 학습하여, 두 게임의 세그먼트 간 의미 있는 보간을 가능하게 하였다.
• 잠재공간 내에서의 유전적 탐색을 통해 사용자가 정의한 제약 조건(예: 목표 난이도, 조밀도, 비선형성 등)을 충족하는 레벨 세그먼트를 생성하였으며, 이는 효과적인 최적화를 보여주었다.
• 원시 레벨 세그먼트를 입력으로 수용할 수 있다는 점에서 GAN보다 더 뛰어난 제어력을 제공함으로써, 공창적 디자인에서 VAE가 더 뛰어난 성능을 보였다.
• 각 게임의 표현 방식 기여도를 균형 잡는 잠재벡터를 진화시켜, 게임 고유의 요소가 원하는 비율로 혼합된 레벨 세그먼트 생성이 가능해졌다.
• 다른 게임의 세그먼트 간 보간을 통해 구조적 및 미적 특성을 모두 유지하는 일관된 혼합 레벨 세그먼트를 생성할 수 있었다.
• VAE 접근 방식은 GAN이 기본적으로 지원하지 않는 고급 기능인 레벨 세그먼트 간 대체 연결 생성 및 기능 이동을 위한 벡터 산술 지원을 가능하게 하였다.