[論文レビュー] A step towards procedural terrain generation with GANs

Christopher Beckham, Christopher Pal|arXiv (Cornell University)|Jul 11, 2017

Computer Graphics and Visualization Techniques参考文献 8被引用数 14

ひとこと要約

本論文は、ナサの高分解能地球画像を用いて、2段階のGANフレームワークを提案する。最初にDCGANを用いて512pxのリアルな高さマップを生成し、その後条件付きpix2pix GANを用いて対応するテクスチャマップを合成する。主な貢献は、現実的で整合性のある地形とテクスチャのペアを生成する機能的なパイプラインであるが、アーティファクトや誤ったテクスチャ（例：砂漠に雪）の存在から、共同学習と監視の面で改善の余地があることが示唆される。

ABSTRACT

Procedural terrain generation for video games has been traditionally been done with smartly designed but handcrafted algorithms that generate heightmaps. We propose a first step toward the learning and synthesis of these using recent advances in deep generative modelling with openly available satellite imagery from NASA.

研究の動機と目的

• 手作業で設計されたアルゴリズムを用いずに、深層生成モデルを用いた手続き的地形生成の可能性を調査すること。
• ナサのVisible Earthプロジェクトから得られる実世界の衛星画像を、地形合成のトレーニングデータとして活用すること。
• まず高さマップを生成し、その後対応するテクスチャマップを推論する2段階のGANパイプラインを開発すること。
• GANを用いて実際の地球データから地形生成を学習する可能性を評価すること。ゲーム開発や3Dコンテンツ作成への応用が想定される。

提案手法

• DCGANを訓練し、事前分布に従って抽出されたランダムなノイズベクトルから512pxの高さマップを生成する。
• pix2pix GANを訓練し、生成された高さマップを条件としてテクスチャマップを生成する。条件付きGANの設定を採用し、実際の高さマップ-テクスチャペアと偽物のペアを区別するための識別器を用いる。
• DCGANのトレーニング目的関数は、実際の高さマップと生成された高さマップを区別するための adversarial loss（バイナリクロスエントロピーまたはLSGAN）を組み合わせる。
• pix2pix GANは、adversarial loss と L1再構成損失（λ=100）の組み合わせを用い、生成されたテクスチャと実際のテクスチャのピクセル単位の忠実度を保証する。
• 生成後、高さマップの微小スケールのアーティファクトを軽減するために、ガウスノイズ（半径0.4px）を適用する。
• トレーニングデータの拡張のため、大きなナサの地球画像（21600px × 10800px）からランダムに切り出した512pxのクロップ画像を用いる。

実験結果

リサーチクエスチョン

• RQ1 GANは、実際の地球の衛星画像から、現実的で手続き的な地形の高さマップを学習して生成できるか？
• RQ2 条件付きGANは、生成された高さマップと意味的に整合するテクスチャマップを効果的に合成できるか？
• RQ3 生成された地形とテクスチャの出力は、実際の地球の特徴と比べてどれほど安定的かつ忠実か？
• RQ4 特にモード崩壊や意味的整合性の観点から、2段階のGANアプローチにおける地形生成の限界は何か？

主な発見

• DCGANは、山脈、谷間、海岸線といった認識可能な地形特徴を示す多様な512pxの高さマップを成功裏に生成した。
• 2つの生成された高さマップの線形補間により、潜在空間が意味的な地形の性質をエンコードしている可能性が示唆されたが、これは明示的に検証されていない。
• pix2pix GANは、一般的には高さマップの特徴と一致するテクスチャマップを生成したが、高所の砂漠地域に雪のようなテクスチャを頻繁に割り当てており、意味的理解に欠けていることが示された。
• 一部の生成された高さマップに微小スケールのアーティファクトが現れたが、生成後に対象のガウスブラーを適用することで軽減された。
• 2段階のパイプラインは、Unity 3Dにおける3Dレンダリングによって、現実的で整合性のある地形とテクスチャのペアを成功裏に生成したが、両方のGANを同時に訓練したわけではない。