[论文解读] MeshDiffusion: Score-based Generative 3D Mesh Modeling

Zhen Liu, Feng Yao+4 more|arXiv (Cornell University)|Mar 14, 2023

3D Shape Modeling and Analysis被引用 29

一句话总结

MeshDiffusion 直接在可变形四面体网格上训练扩散模型，以生成高质量的 3D 网格，实现简单、稳定管线的无条件与有条件网格生成。

ABSTRACT

We consider the task of generating realistic 3D shapes, which is useful for a variety of applications such as automatic scene generation and physical simulation. Compared to other 3D representations like voxels and point clouds, meshes are more desirable in practice, because (1) they enable easy and arbitrary manipulation of shapes for relighting and simulation, and (2) they can fully leverage the power of modern graphics pipelines which are mostly optimized for meshes. Previous scalable methods for generating meshes typically rely on sub-optimal post-processing, and they tend to produce overly-smooth or noisy surfaces without fine-grained geometric details. To overcome these shortcomings, we take advantage of the graph structure of meshes and use a simple yet very effective generative modeling method to generate 3D meshes. Specifically, we represent meshes with deformable tetrahedral grids, and then train a diffusion model on this direct parametrization. We demonstrate the effectiveness of our model on multiple generative tasks.

研究动机与目标

• 证明扩散模型可以直接在可变形四面体网格上生成高质量的 3D 网格。
• 提供一个简单、稳定的训练与推理管线，利用 uniform tetrahedral grid 上的 3D-CNN U-Net。
• 实现无条件生成、从单视 RGBD 的条件生成，以及 3D 网格的插值。
• 展示基于每顶点 SDF 的条件化与归一化如何稳定基于扩散的网格生成。

提出的方法

• 用 deformable tetrahedral grids (DMTet) 表示网格并直接建模顶点变形与 SDF 值。
• 在具有增强立方网格结构的四面体网格上训练的 3D U-Net 扩散模型，以利用空间先验。
• 将 SDF 值归一化为 ±1，并在连续变形上训练扩散模型，同时采用两阶段优化以稳定网格曲面。
• 渲染引导目标 L_Render（图像、深度、Chamfer、惩罚项）以将网格生成与可微渲染连接。
• 在推理阶段，求解反向 SDE 以生成网格，并可选择性地优化 SDF 符号与执行条件生成。
• 通过两阶段过程实现从单个 RGBD 视图的条件生成：拟合一个四面体网格以适应视图并用扩散模型完成。

实验结果

研究问题

• RQ1 扩散模型是否能够直接在可变形的四面体网格上有效地生成高质量的 3D 网格？
• RQ2 对 SDF 值进行归一化并采用两阶段训练方案是否能够稳定网格生成并保留细微几何细节？
• RQ3 MeshDiffusion 在无条件生成、从单视图条件生成与插值任务中的表现如何？
• RQ4 所提出的基于 DMTet 的参数化与 3D CNN 架构对训练稳定性和曲面细节保真度的影响是什么？

主要发现

• MeshDiffusion 产生锋利、细致的网格，并在定性比较中比基于 SDF 的基线更好地保留细微几何。
• 定量指标（如点云距离与光场距离）表明 MeshDiffusion 在 ShapeNet 类别上达到具竞争力或优于基线的结果。
• 对 SDF 的归一化策略与简单、非摊销的两阶段训练方法提高了稳定性并减少了 marching tetrahedra 产生的伪影。
• 从单个 RGBD 视图的条件生成显示出合理的形状完成能力，同时在扩散过程中允许少量顶点更新。
• 消融研究表明 SDF 归一化与网格上扩散设计对性能有显著贡献。