[论文解读] DSM-Net: Disentangled Structured Mesh Net for Controllable Generation of Fine Geometry

Jie Yang, Kaichun Mo+3 more|arXiv (Cornell University)|Aug 12, 2020

3D Shape Modeling and Analysis被引用 23

一句话总结

DSM-Net 是一种深度生成模型，通过使用具有双射映射的分层变分自编码器联合建模几何与结构，学习 3D 形状的解耦结构化网格表示，从而实现可控生成（如结构插值）的同时保持几何一致性，并在合成形状的质量上达到最先进水平。

ABSTRACT

3D shape generation is a fundamental operation in computer graphics. While significant progress has been made, especially with recent deep generative models, it remains a challenge to synthesize high-quality geometric shapes with rich detail and complex structure, in a controllable manner. To tackle this, we introduce DSM-Net, a deep neural network that learns a disentangled structured mesh representation for 3D shapes, where two key aspects of shapes, geometry and structure, are encoded in a synergistic manner to ensure plausibility of the generated shapes, while also being disentangled as much as possible. This supports a range of novel shape generation applications with intuitive control, such as interpolation of structure (geometry) while keeping geometry (structure) unchanged. To achieve this, we simultaneously learn structure and geometry through variational autoencoders (VAEs) in a hierarchical manner for both, with bijective mappings at each level. In this manner we effectively encode geometry and structure in separate latent spaces, while ensuring their compatibility: the structure is used to guide the geometry and vice versa. At the leaf level, the part geometry is represented using a conditional part VAE, to encode high-quality geometric details, guided by the structure context as the condition. Our method not only supports controllable generation applications, but also produces high-quality synthesized shapes, outperforming state-of-the-art methods.

研究动机与目标

• 为解决以可控方式生成具有复杂结构的高质量、高细节 3D 形状的挑战。
• 在保持兼容性的前提下，解耦 3D 形状中几何与结构布局的表征。
• 实现新型生成应用，例如在固定几何的前提下进行结构插值。
• 通过基于结构上下文的条件建模，提升形状的合理性与几何细节。
• 在生成具有直观控制的高保真 3D 网格方面超越现有方法。

提出的方法

• DSM-Net 采用分层变分自编码器（VAE）框架，分别但兼容地建模结构与几何。
• 在层次结构的每一层应用双射映射，以确保几何与结构编码的可逆性与解耦性。
• 在叶节点层级，通过基于结构上下文条件的条件 VAE 建模部件几何，以实现高保真细节生成。
• 结构引导几何生成，几何则反向促进结构学习，形成协同的双向关系。
• 该方法采用基于网格的表示，支持精细的几何细节与结构一致性。
• 网络端到端训练，以同时优化解耦性与形状合理性。

实验结果

研究问题

• RQ1 能否在潜在空间中有效解耦 3D 形状的几何与结构，同时保持其兼容性？
• RQ2 具有双射映射的分层 VAE 是否能够实现具有直观用户控制的可控 3D 形状生成？
• RQ3 基于结构上下文对几何进行条件建模，是否能提升生成形状的质量与保真度？
• RQ4 该模型能否在生成复杂、高细节 3D 网格方面达到最先进性能？
• RQ5 在保持几何不变的前提下，对结构进行插值是否在生成结果中可行且合理？

主要发现

• DSM-Net 通过具有双射映射的分层 VAE，成功实现了 3D 形状中几何与结构的解耦。
• 该模型实现了新型可控生成任务，例如在固定几何的前提下插值结构。
• 叶节点层级的条件部件 VAE 在结构上下文引导下生成了高质量的几何细节。
• 结构与几何建模之间的协同作用提升了形状的合理性与真实感。
• DSM-Net 在生成具有复杂结构与精细细节的高保真 3D 网格方面优于最先进方法。
• 该方法在定性和定量评估中均取得优越结果，证明了生成质量的显著提升。