[논문 리뷰] A step towards procedural terrain generation with GANs

Christopher Beckham, Christopher Pal|arXiv (Cornell University)|2017. 07. 11.

Computer Graphics and Visualization Techniques참고 문헌 8인용 수 14

한 줄 요약

이 논문은 니아스의 고해상도 지구 영상 자료를 사용하여 절차적 지형 생성을 위한 이단계 GAN 프레임워크를 제안한다. 먼저 DCGAN을 통해 512px 높이맵을 생성하고, 그 다음 조건부 pix2pix GAN을 사용해 해당 높이맵에 대응하는 텍스처맵을 합성한다. 주요 기여는 실제 지형과 텍스처 쌍을 생성하는 기능적인 파이프라인을 구축한 점이지만, 아티팩트와 잘못된 정렬된 텍스처(예: 사막에 눈이 내린 것처럼)는 공동 학습과 감독의 향상 여지를 시사한다.

ABSTRACT

Procedural terrain generation for video games has been traditionally been done with smartly designed but handcrafted algorithms that generate heightmaps. We propose a first step toward the learning and synthesis of these using recent advances in deep generative modelling with openly available satellite imagery from NASA.

연구 동기 및 목표

• 수동으로 설계된 알고리즘 없이 심층 생성 모델을 활용해 절차적 지형 생성을 탐색한다.
• 니아스의 가시광선 지구 프로젝트에서 제공하는 실제 위성 영상을 지형 합성의 학습 데이터로 활용한다.
• 먼저 높이맵을 생성하고 나서 그에 대응하는 텍스처맵을 추론하는 이단계 GAN 파이프라인을 개발한다.
• 실제 지구 데이터에서 지형 생성을 학습하는 데 GAN을 사용할 수 있는지의 타당성을 평가하며, 게임 개발 및 3D 콘텐츠 제작 분야에 응용 가능성을 모색한다.

제안 방법

• DCGAN은 사전 분포에서 샘플링된 랜덤 노이즈 벡터로부터 512px 높이맵을 생성하도록 훈련된다.
• pix2pix GAN은 조건부 GAN 설정을 사용하여 생성된 높이맵에 조건부로 텍스처맵을 생성하도록 훈련되며, 진짜 높이맵-텍스처 쌍과 가짜 쌍을 평가하는 판별기로 구성된다.
• DCGAN의 훈련 목표는 실제와 생성된 높이맵을 구분하기 위한 적대적 손실(이진 교차 엔트로피 또는 LSGAN)을 조합한다.
• pix2pix GAN은 적대적 손실과 L1 재구성 손실(λ=100)의 조합을 사용하여 생성된 텍스처와 실제 텍스처 간의 픽셀 수준의 정밀도를 확보한다.
• 생성 후 높이맵의 소규모 아티팩트를 줄이기 위해 경량의 가우시안 블러(반지름 0.4px)를 적용한다.
• 훈련 데이터를 증강하기 위해 큰 니아스 지구 영상(21600px × 10800px)에서 무작위로 자른 512px 크기의 영역을 사용한다.

실험 결과

연구 질문

• RQ1 GAN은 실제 지구 위성 영상에서 실질적인 절차적 지형 높이맵을 학습할 수 있는가?
• RQ2 조건부 GAN은 생성된 높이맵과 의미적으로 일치하는 텍스처맵을 효과적으로 합성할 수 있는가?
• RQ3 생성된 지형과 텍스처 출력은 실제 지구 특성과 비교해 얼마나 안정적이고 충실한가?
• RQ4 특히 모드 붕괴와 의미적 일관성 측면에서, 지형 생성에서 이단계 GAN 접근법의 한계는 무엇인가?

주요 결과

• DCGAN은 산맥, 계곡, 해안선과 같은 식별 가능한 지형 특징을 보이는 다양한 512px 높이맵을 성공적으로 생성했다.
• 두 개의 생성된 높이맵 간 선형 보간 결과는 잠재 공간이 의미 있는 지형 의미를 인코딩하고 있을 가능성이 있음을 시사하지만, 이는 명시적으로 검증되지 않았다.
• pix2pix GAN은 일반적으로 높이맵 특징과 일치하는 텍스처맵을 생성했지만, 높이가 높은 사막 지역에 눈과 유사한 텍스처를 자주 할당하여 의미 이해의 부족함을 드러냈다.
• 일부 생성된 높이맵에서 소규모 아티팩트가 나타났으며, 이는 생성 후 경량 가우시안 블러를 적용함으로써 완화되었다.
• 이단계 파이프라인은 3D 렌더링을 통해 실제 지형과 텍스처 쌍을 신뢰할 만하게 생성했음을 입증했지만, 양쪽 GAN의 공동 훈련은 수행되지 않았다.