[論文レビュー] Hierarchical Detail Enhancing Mesh-Based Shape Generation with 3D Generative Adversarial Network

Chiyu Max Jiang, Philip Marcus|arXiv (Cornell University)|Sep 22, 2017

3D Shape Modeling and Analysis参考文献 11被引用数 9

ひとこと要約

本稿では、符号付き距離関数（SDF）表現を用いて、高品質で詳細豊かなメッシュベースの形状を生成する階層的3次元生成対抗ネットワーク（3D-GAN）を提案する。低周波数および高周波数成分を別々の生成器で分離することで、滑らかで視覚的に魅力的なメッシュを生成し、ボクセルベースおよびポイントクラウド手法に比べて幾何的品質と意味的制御性において優れている。

ABSTRACT

Automatic mesh-based shape generation is of great interest across a wide range of disciplines, from industrial design to gaming, computer graphics and various other forms of digital art. While most traditional methods focus on primitive based model generation, advances in deep learning made it possible to learn 3-dimensional geometric shape representations in an end-to-end manner. However, most current deep learning based frameworks focus on the representation and generation of voxel and point-cloud based shapes, making it not directly applicable to design and graphics communities. This study addresses the needs for automatic generation of mesh-based geometries, and propose a novel framework that utilizes signed distance function representation that generates detail preserving three-dimensional surface mesh by a deep learning based approach.

研究の動機と目的

• ディープラーニング分野における、特にコンピュータグラフィックスおよびデザイン応用を想定した、高品質でメッシュベースの3次元形状生成手法の不足に応える。
• CGパイプラインに不適切な低解像度、ノイズ、非多様体出力を生じる既存のボクセルおよびポイントクラウド表現の限界を克服する。
• 潜在空間操作による意味的制御を可能にし、訓練データに存在しない概念的に新しい滑らかで詳細豊かな3次元メッシュ形状の生成を実現する。
• 周波数成分を分離することで、標準的なGANベースの3次元生成を上回る詳細の忠実性と表面品質を向上させる階層的フレームワークを開発する。

提案手法

• 3次元グリッド上での符号付き距離関数（SDF）を用いて3次元形状を表現し、マーチング・キューブス法により滑らかな表面抽出を可能にする。
• 2ストリームのGANアーキテクチャを採用：低周波数生成器（LFG）と高周波数生成器（HFG）、それぞれがSDFフィールドの異なる周波数帯を生成するように訓練される。
• U-Netに類似したエンコーダ・デコーダ構造に3次元転置畳み込み（アップコンボリューション）を適用し、64³の解像度でSDFフィールドを生成する。
• 周波数ドメインフィルタリングを用いて低周波数および高周波数成分を分離：LFGはモード[-8,8]を出力し、HFGはモード[-32,-9] ∪ [9,31] を強化する。
• LFGの低周波数出力とHFGの高周波数補正を組み合わせることで最終的なSDFを再構築し、周波数ドメインにおけるスーパーレゾリューションを実現する。
• 最終的なポリゴナルメッシュのレンダリング準備を整えるために、後処理（マーチング・キューブス、ラプラシアンスムージング、UVアンラップ、テクスチャマッピング）を適用する。

実験結果

リサーチクエスチョン

• RQ1 階層的GANアーキテクチャは、標準的なボクセルベースのGANと比較して、3次元メッシュベースの形状生成における視覚的品質および幾何的忠実性を向上させることができるか？
• RQ2 SDF表現における低周波数および高周波数成分の分離は、生成された3次元形状における細部の保持および鋭い特徴の強化に寄与するか？
• RQ3 提案手法は、訓練データに存在しない概念的に新しい形状を生成できるか。同時に滑らかで多様体なメッシュ表面を維持できるか？
• RQ4 潜在空間における意味的演算（例：形状補間、算術演算）が、どの程度意味のある結果をもたらすか？
• RQ5 ボクセル占有グリッドではなくSDFを用いることで、コンピュータグラフィックスパイプラインに適したより現実的でレンダラブルな3次元メッシュが得られるか？

主な発見

• 提案された階層的GANフレームワークは、ベースラインのボクセルベースGANと比較して、顕著に向上した視覚的品質と表面の滑らかさを実現した3次元メッシュ形状を生成した。
• 高周波数生成器（HFG）は、細部を的確に強化し、低周波数のみの出力に欠落していた鋭い局所的特徴を再現した。
• LFGとHFGの組み合わせにより、物理的グリッド解像度を上回る意味のある周波数帯域で高い有効解像度を達成した最終SDFフィールドが得られた。
• 潜在空間における線形補間により、連続的な形状モーフィングが実現され、意味的整合性と意味のある形状遷移が示された。
• 生成されたSDFから得られた後処理済みメッシュは、UVマッピングおよびテクスチャ適用を用いたBlenderによる高品質なレンダリングで確認されたように、後続のCGワークフローに適した品質を有していた。
• 本手法は、訓練例の単純な再結合を超えた視覚的に魅力的で高解像度かつ概念的に新しい3次元形状を生成する点で、先行研究を上回った。