[論文レビュー] MeshDiffusion: Score-based Generative 3D Mesh Modeling

Zhen Liu, Feng Yao+4 more|arXiv (Cornell University)|Mar 14, 2023

3D Shape Modeling and Analysis被引用数 29

ひとこと要約

MeshDiffusion は、変形可能な四面体格子上で直接拡散モデルを訓練し、高品質な3Dメッシュを生成します。これにより、シンプルで安定したパイプラインで無条件および条件付きのメッシュ生成を実現します。

ABSTRACT

We consider the task of generating realistic 3D shapes, which is useful for a variety of applications such as automatic scene generation and physical simulation. Compared to other 3D representations like voxels and point clouds, meshes are more desirable in practice, because (1) they enable easy and arbitrary manipulation of shapes for relighting and simulation, and (2) they can fully leverage the power of modern graphics pipelines which are mostly optimized for meshes. Previous scalable methods for generating meshes typically rely on sub-optimal post-processing, and they tend to produce overly-smooth or noisy surfaces without fine-grained geometric details. To overcome these shortcomings, we take advantage of the graph structure of meshes and use a simple yet very effective generative modeling method to generate 3D meshes. Specifically, we represent meshes with deformable tetrahedral grids, and then train a diffusion model on this direct parametrization. We demonstrate the effectiveness of our model on multiple generative tasks.

研究の動機と目的

• 拡散モデルが、変形可能な四面体格子上で表現される高品質な3Dメッシュを直接生成できることを示す。
• 均一な四面体格子上の3D-CNN U-Netを活用した、シンプルで安定した訓練・推論パイプラインを提供する。
• 無条件生成、単一視点RGBDからの条件生成、および3Dメッシュの補間を可能にする。
• 正規化を用いた頂点ごとのSDFベースの条件付けが、拡散ベースのメッシュ生成を安定化させることを示す。

提案手法

• meshes を deformable tetrahedral grids (DMTet) で表現し、頂点の変形とSDF値を直接モデル化する。
• テトラヘドロン格子上で拡張された立方格子構造を用いて空間事前情報を活用する3D U-Net 拡散モデルを訓練する。
• SDF値を±1に正規化し、連続変形上で拡散モデルを訓練するとともに、メッシュ表面を安定化させるため二-pass 最適化を適用する。
• メッシュ生成を微分可能なレンダリングと結びつけるための Render-guided objective L_Render (image, depth, Chamfer, penalties) を用いる。
• 推論時には逆SDEを解いてメッシュを生成し、必要に応じてSDF符号を refin e し、条件生成パスを実行する。
• 単一のRGBDビューから条件生成を可能にするため、2段階プロセスで: view に対して tetrahedral grid を適合させ、拡散モデルで完成させる。

実験結果

リサーチクエスチョン

• RQ1 拡張拡散モデルを用いて、変形可能な四面体格子上で直接高品質な3Dメッシュを生成することは効果的か。
• RQ2 SDF値の正規化と2-pass訓練スキームは、メッシュ生成を安定化し、細かな幾何学的ディテールを保持するか。
• RQ3 無条件生成、単一ビューからの条件生成、補間タスクで、MeshDiffusionはどの程度性能を発揮するか。
• RQ4 提案されたDMTetベースのパラメータ化と3D CNNアーキテクチャが、訓練の安定性と表面ディテール忠実度に及ぼす影響はどれほどか。

主な発見

• MeshDiffusion はシャープで詳細なメッシュを生み出し、定性的比較でSDFベースのベースラインよりも微細なジオメトリを保持する。
• 定量的指標（点群距離やライトフィールド距離など）は、ShapeNetカテゴリ全体でメッシュDiffusionがベースラインと同等か優れた結果を達成することを示す。
• SDFの正規化戦略と、マーチングテトラヘッドによるアーティファクトを減らす単純で非アモルタイズドな2段階訓練アプローチは、安定性を向上させ、アーティファクトを低減する。
• 単一RGBDビューからの条件生成は、拡散中に頂点の小さな更新を許しつつ、形状の適切な補完を示す。
• アブレーション研究は、SDF正規化と格子上拡散設計が性能に有意に寄与することを示唆する。