[논문 리뷰] TOAD-GAN: Coherent Style Level Generation from a Single Example

Maren Awiszus, Frederik Schubert외 1명|arXiv (Cornell University)|2020. 08. 04.

Artificial Intelligence in Games인용 수 6

한 줄 요약

TOAD-GAN는 토큰 기반 비디오 게임 레벨의 정형화된 콘텐츠 생성을 위한 원샷 생성 적대 신경망이며, SinGAN에 영감을 받았지만 2D 레벨 맵에 적합하게 수정된 것으로, 단일 예시에서 스타일적으로 일관되고 다양한 크기의 레벨을 생성하며, 잠재 공간 편집을 통한 사용자 제어 가능한 전반적 레이아웃을 지원하여 최신 기술 수준의 패턴 모델링을 달성하고 새로운 레벨 저작 기능을 가능하게 한다.

ABSTRACT

In this work, we present TOAD-GAN (Token-based One-shot Arbitrary Dimension Generative Adversarial Network), a novel Procedural Content Generation (PCG) algorithm that generates token-based video game levels. TOAD-GAN follows the SinGAN architecture and can be trained using only one example. We demonstrate its application for Super Mario Bros. levels and are able to generate new levels of similar style in arbitrary sizes. We achieve state-of-the-art results in modeling the patterns of the training level and provide a comparison with different baselines under several metrics. Additionally, we present an extension of the method that allows the user to control the generation process of certain token structures to ensure a coherent global level layout. We provide this tool to the community to spur further research by publishing our source code.

연구 동기 및 목표

• 제한된 학습 데이터 문제를 해결하기 위해, 대부분의 기존 방법이 큰 데이터셋을 필요로 하고 스타일 일관성을 유지하지 못하는 점을 해결하기 위해.
• 기존 PCGML 방법들이 혼합 스타일 레벨을 생성하거나 해석 가능성과 제어 가능성 부족을 겪는 문제를 해결하기 위해.
• SinGAN 아키텍처를 토큰 기반 게임 레벨에 확장하여, 원샷 학습과 다양한 일관성 있는 레벨 생성을 가능하게 하기 위해.
• 2D 토큰 맵에서 중요한 구조적 요소를 유지하는 새로운 다운샘플링 방법을 도입하기 위해.
• 가장 낮은 스케일에서 사용자 정의 전반적 레이아웃을 조건으로 삼아 생성 과정을 조정함으로써 고수준 저작 제어를 가능하게 하기 위해.

제안 방법

• 자연 RGB 이미지가 아닌 2D 토큰 기반 게임 레벨을 생성하기 위해 SinGAN 아키텍처를 변형하여 다중 스케일 패치 기반 특징 학습을 사용한다.
• 일반화된 레벨 맵에 맞는 맞춤형 다운샘플링 알고리즘을 적용하여 작은 구조적 토큰을 손실 없이 유지하며, 해상도 감소 과정에서의 손실을 방지한다.
• 잠재 공간 조건화 메커니즘을 도입하여, 가장 낮은 스케일에서의 편집이 이중선형 보간을 통해 모든 스케일로 전파되도록 하여 전반적 레이아웃 저작을 가능하게 한다.
• 레벨 조각에 대해 컨volutional 분류기를 학습시어 비선형 특징 표현을 추출하고, UMAP를 사용해 생성된 레벨과 실제 레벨의 분포를 비교한다.
• 생성된 레벨과 원본 레벨 간의 스타일 충실도를 정량적으로 평가하기 위해 타일 패턴 KL-분산 측정법을 적용한다.
• 작고 고대비 토큰 맵에서의 학습 안정성을 확보하기 위해, WGAN-GP 기반 학습 목표와 인스턴스 정규화, 리키 ReLU 활성화 함수를 사용한다.

실험 결과

연구 질문

• RQ1 GAN 기반 모델이 단일 학습 예시에서 원본 스타일을 유지하면서 다양한 일관성 있는 비디오 게임 레벨을 생성할 수 있는가?
• RQ2 자연 이미지 데이터와 근본적으로 다른 토큰 기반 2D 레벨 맵에 대해 원샷 학습을 어떻게 적응시킬 수 있는가?
• RQ3 스타일 일관성을 유지하면서도 사용자 가이드 전반적 레이아웃 구조 저작을 지원할 수 있는가?
• RQ4 패턴 분포와 구조적 다양성 측면에서 생성된 레벨은 실제 레벨과 어떻게 비교되는가?
• RQ5 잠재 공간 시각화를 통해 의미 있는 의미론적 구조와 레벨 유형 간의 다양체 관계를 확인할 수 있는가?

주요 결과

• TOAD-GAN는 단일 예시에서 슈퍼 마리오 브라더스 및 슈퍼 마리오 카트 레벨을 임의의 크기로 시각적으로 일관되게 생성하며, 학습 레벨의 스타일과 토큰 분포를 유지한다.
• Tile Pattern KL-Divergence 측정법으로 측정한 결과, 여러 베이스라인을 능가하는 최신 기술 수준의 학습 레벨 패턴 모델링 성능을 달성한다.
• UMAP를 사용한 잠재 공간 시각화에서 오버월드, 지하, 플로팅 플랫폼 등 레벨 유형에 해당하는 명확한 클러스터가 확인되어 학습된 특징에 의미 있는 의미론적 구조가 존재함을 확인한다.
• 사용자 제어 가능한 전반적 레이아웃 저작이 가능하다: 가장 낮은 스케일의 토큰 맵을 편집함으로써 스타일 일관성을 유지하면서도 무한한 변형을 생성할 수 있으며, 슈퍼 마리오 카트 트랙을 통해 이를 입증하였다.
• 생성기 모델은 학습 분포 내부 뿐 아니라 레벨 다양체의 인근 영역에서도 슬라이스를 생성함으로써 강력하고 다양한 생성 능력을 보여준다.
• 다섯 개의 컨volutional 레이어와 아홉 개의 스케일 수준을 사용하여 슈퍼 마리오 카트와 같은 더 큰, 더 복잡한 게임으로의 일반화 성능을 입증하였으며, 일관성과 스타일 충실도를 유지한다.