[论文解读] A step towards procedural terrain generation with GANs

Christopher Beckham, Christopher Pal|arXiv (Cornell University)|Jul 11, 2017

Computer Graphics and Visualization Techniques参考文献 8被引用 14

一句话总结

本文提出了一种基于NASA高分辨率地球影像的两阶段 GAN 框架，用于程序化地形生成，首先通过 DCGAN 生成 512px 的真实感高度图，再通过条件式 pix2pix GAN 合成相应的纹理图。主要贡献在于构建了一个可运行的端到端管道，能够生成合理匹配的地形与纹理对；然而，图像伪影及纹理错位（如沙漠上出现积雪）表明，在联合训练与监督方面仍有改进空间。

ABSTRACT

Procedural terrain generation for video games has been traditionally been done with smartly designed but handcrafted algorithms that generate heightmaps. We propose a first step toward the learning and synthesis of these using recent advances in deep generative modelling with openly available satellite imagery from NASA.

研究动机与目标

• 探索深度生成模型在无需手工设计算法的情况下进行程序化地形生成的可行性。
• 利用来自 NASA 可见地球项目的真实卫星影像作为训练数据，用于地形合成。
• 开发一种两阶段 GAN 管道，首先生成高度图，再推断对应的纹理图。
• 评估 GAN 从真实地球数据中学习地形生成的可行性，潜在应用包括游戏开发与 3D 内容创作。

提出的方法

• 使用从先验分布中采样的随机噪声向量，训练 DCGAN 生成 512px 的高度图。
• 通过条件 GAN 设置，训练 pix2pix GAN 以生成基于生成高度图的纹理图，其中判别器用于评估真实高度图-纹理对与虚假对之间的差异。
• DCGAN 的训练目标结合了对抗损失（二元交叉熵或 LSGAN），以区分真实与生成的高度图。
• pix2pix GAN 使用对抗损失与 L1 重建损失（λ=100）的组合，以确保生成纹理与真实纹理之间的像素级保真度。
• 在高度图生成后应用半径为 0.4px 的高斯模糊，以减少小尺度伪影。
• 通过从大尺寸 NASA 地球影像（21600px × 10800px）中随机裁剪 512px 图像块，增强训练数据。

实验结果

研究问题

• RQ1 GAN 是否能够从真实地球卫星影像中学习生成逼真的程序化地形高度图？
• RQ2 条件式 GAN 是否能够有效合成与生成高度图在语义上对齐的纹理图？
• RQ3 与真实地球特征相比，生成的地形与纹理输出在稳定性和保真度方面表现如何？
• RQ4 两阶段 GAN 方法在地形生成中的局限性是什么，特别是在模式崩溃与语义一致性方面？

主要发现

• DCGAN 生成了多样化的 512px 高度图，展现出可识别的地形特征，如山脉、山谷和海岸线。
• 在两个生成高度图之间进行线性插值表明，潜在空间可能编码了有意义的地形语义，尽管未进行显式验证。
• pix2pix GAN 生成的纹理图通常与高度图特征匹配，但频繁地将类似积雪的纹理分配给高海拔沙漠区域，表明缺乏语义理解能力。
• 部分生成的高度图中出现了小尺度伪影，通过在生成后应用轻微高斯模糊得到缓解。
• 两阶段管道成功生成了在 Unity 3D 中渲染的合理地形与纹理对，尽管未对两个 GAN 进行联合训练。