[論文レビュー] Deep Marching Tetrahedra: a Hybrid Representation for High-Resolution 3D Shape Synthesis

Tianchang Shen, Jun Gao+3 more|arXiv (Cornell University)|Nov 8, 2021

3D Shape Modeling and Analysis参考文献 66被引用数 105

ひとこと要約

DMTet は、変形可能な3D四面体グリッドと微分可能な Marching Tetrahedra レイヤを用いて粗いボクセルを高解像度メッシュへアップスケールする深い3D 条件付き生成器であり、従来の暗黙的または明示的手法よりもトポロジーの変化とより高いディテールを実現します。

ABSTRACT

We introduce DMTet, a deep 3D conditional generative model that can synthesize high-resolution 3D shapes using simple user guides such as coarse voxels. It marries the merits of implicit and explicit 3D representations by leveraging a novel hybrid 3D representation. Compared to the current implicit approaches, which are trained to regress the signed distance values, DMTet directly optimizes for the reconstructed surface, which enables us to synthesize finer geometric details with fewer artifacts. Unlike deep 3D generative models that directly generate explicit representations such as meshes, our model can synthesize shapes with arbitrary topology. The core of DMTet includes a deformable tetrahedral grid that encodes a discretized signed distance function and a differentiable marching tetrahedra layer that converts the implicit signed distance representation to the explicit surface mesh representation. This combination allows joint optimization of the surface geometry and topology as well as generation of the hierarchy of subdivisions using reconstruction and adversarial losses defined explicitly on the surface mesh. Our approach significantly outperforms existing work on conditional shape synthesis from coarse voxel inputs, trained on a dataset of complex 3D animal shapes. Project page: https://nv-tlabs.github.io/DMTet/.

研究の動機と目的

• 高品質な3Dコンテンツ作成を民主化するため、粗いボクセル形状（たとえば Minecraft のような形状）を詳細な3D資産へアップスケールすることを目指す。
• 任意のトポロジーと高解像度をサポートする、ハイブリッドな暗黙-明示3D表現を導入する。
• 表面に焦点を当てた監督付きでエンドツーエンド学習を可能にし、幾何学的ディテールとリアリズムを向上させる。

提案手法

• 変形可能な四面体グリッド上に定義された符号距離場 (SDF) で形状を表現する。
• 微分可能な Marching Tetrahedra レイヤを用いて暗黙的な SDF を明示的な表面メッシュへ変換する。
• 予測された表面の周囲で体積分割を行い高解像度をサポートするよう四面体グリッドを成長・適応させる。
• 表面を表面パラメータ化されたメッシュ上で学習可能な Loop様の細分化を用いて表面を精練する。
• 表面整合性（Chamfer と法線）損失、対立的損失、SDFと変形の正則化の組み合わせで訓練する。
• 識別子は予測メッシュから導かれるSDFの上に動作し、リアリズムを評価する。

実験結果

リサーチクエスチョン

• RQ1 粗い入力から自由なトポロジーを持つ高解像度3D形状を再構成・合成できるか？
• RQ2 表面監視型で微分可能な MT ベースのパイプラインは、純粋に暗黙的または明示的な手法より幾何学的ディテールとリアリズムを改善するか？
• RQ3 体積と表面の細分化、学習可能な表面改良が再構築品質とトポロジーの柔軟性にどう影響するか？
• RQ4 ハイブリッドな暗黙-明示表現のエンドツーエンド訓練は、従来手法よりも高解像度3D合成において効率的かつスケーラブルか？

主な発見

Method	L2 Chamfer ↓	L1 Chamfer ↓	Norm. Cons. ↑	LFD ↓	Cls ↓
ConvOnet [ 44 ]	0.83	2.41	0.901	3220	0.63
DECOR [ 6 ] -Retv.	1.32	3.81	0.876	3689	0.66
DECOR [ 6 ] -Rand.	2.38	6.85	0.797	5338	0.67
DMTet wo Adv.	0.76	2.20	0.916	2846	0.58
DMTet	0.75	2.19	0.918	2823	0.54

• DMTet は、粗いボクセルから高解像度の動物形状を複数の指標でConvOnetおよびDECORベースラインより大幅に上回る。
• 対立的損失を含めることでリアリズムと微細な幾何学的ディテールが向上する。
• 体積細分化は細かな構造（例: 飛行機、ランプ）を捉えるのに役立つ；表面細分化は量子化を減少させ、滑らかな表面を生み出す。
• DMTet は推論時に多くの暗黙法ベースラインより高速で、競争力のある/やや劣る時間性能を発揮する。
• アブレーション実験は、グリッドの変形とSDF+表面の共同監督が高品質な結果に不可欠であることを示す。