[論文レビュー] GET3D: A Generative Model of High Quality 3D Textured Shapes Learned from Images

Jun Gao, Tianchang Shen+7 more|arXiv (Cornell University)|Sep 22, 2022

Computer Graphics and Visualization Techniques被引用数 187

ひとこと要約

GET3D は、2D 画像から任意のトポロジーを持つ明示的なテクスチャ付き3Dメッシュを直接生成し、differentiable surface extraction and rendering を用いて、複数カテゴリにわたる最先端の3D形状およびテクスチャ品質を達成します。

ABSTRACT

As several industries are moving towards modeling massive 3D virtual worlds, the need for content creation tools that can scale in terms of the quantity, quality, and diversity of 3D content is becoming evident. In our work, we aim to train performant 3D generative models that synthesize textured meshes which can be directly consumed by 3D rendering engines, thus immediately usable in downstream applications. Prior works on 3D generative modeling either lack geometric details, are limited in the mesh topology they can produce, typically do not support textures, or utilize neural renderers in the synthesis process, which makes their use in common 3D software non-trivial. In this work, we introduce GET3D, a Generative model that directly generates Explicit Textured 3D meshes with complex topology, rich geometric details, and high-fidelity textures. We bridge recent success in the differentiable surface modeling, differentiable rendering as well as 2D Generative Adversarial Networks to train our model from 2D image collections. GET3D is able to generate high-quality 3D textured meshes, ranging from cars, chairs, animals, motorbikes and human characters to buildings, achieving significant improvements over previous methods.

研究の動機と目的

• 高品質で多様なテクスチャ付きメッシュを任意のトポロジーで実現することにより、産業横断でスケーラブルな3Dコンテンツ作成を推進する。
• 明示的な3D形状を必要とせず、2D画像データからのスーパービジョンを可能にする。
• Blender、Maya などの標準的な3Dグラフィックスエンジンで直接使用できる出力を作成する。
• 複数のオブジェクトカテゴリにおいて、幾何学とテクスチャの最先端品質を達成する。

提案手法

• 2-branch ジェネレーター: ジオメトリーブランチは DMTet と marching tetrahedra を用いて、任意のトポロジーを持つ微分可能な明示的サーフェス（メッシュ）を出力する。
• テクスチャーブランチは、ジオメトリとテクスチャ潜在量に条件付けられた tri-plane 表現を用いてテクスチャ場を出力する。
• 高解像度ラスタライザを介する微分可能レンダリングは、2D対抗監督のためにRGB画像とシルエットをレンダリングする。
• RGBとシルエットの2つの判別器を用いた敵対的学習は、勾配をジオメトリとテクスチャーブランチの両方に伝播させる。
• 隣接するSDF値へのクロスエントロピー正則化は、見えない内部面を抑制し、メッシュ品質を向上させる。
• 訓練は、微分可能レンダラーを用いた2D画像スーパービジョンを使用し、高解像度（最大1024x1024）のテクスチャを可能にする。

実験結果

リサーチクエスチョン

• RQ1 固定テンプレートに依存せず、2D画像から直接テクスチャ付きメッシュを生成する単一モデルは可能か。
• RQ2 微分可能なサーフェス抽出と微分可能レンダリングを組み合わせて、2D判別器で訓練した場合に高忠実度の幾何とテクスチャを得られるか。
• RQ3 複雑な幾何とテクスチャを持つ多様なカテゴリに対して、3D監視型および3D対応ベースラインと比較してGET3Dの性能はどうか。
• RQ4 このアプローチをマテリアル生成、リライティング、テキスト誘導3D合成などの下流タスクへ拡張できるか。

主な発見

• GET3D は、車、椅子、オートバイ、人間、ビルなど複数カテゴリにわたる豊かな幾何とテクスチャディテールを持つ高品質なテクスチャ付きメッシュを生成する。
• DMTet ベースの表面抽出により任意のトポロジーと属種をサポートする。
• 微分可能レンダリングと2つの専門的判別器を用いた訓練は、幾何とテクスチャの忠実度を複数のベンチマークで改善する。
• 3D監視型手法と比較して、GET3D は多様性と幾何ディテールで上回る。
• GET3D は、ビュー依存照明の材料生成や CLIP を用いたテキスト誘導3D合成などの下流アプリケーションを可能にする。