[论文解读] DUDE: Deep Unsigned Distance Embeddings for Hi-Fidelity Representation of Complex 3D Surfaces

Rahul Venkatesh, Sarthak Sharma+3 more|arXiv (Cornell University)|Nov 4, 2020

3D Shape Modeling and Analysis参考文献 28被引用 11

一句话总结

DUDE 提出了一种基于深度学习的 3D 形状表示方法，采用无符号距离场（uDF）和法向量场（nVF），以高保真度建模开放和闭合形状。与以往需要完整封闭网格的方法不同，DUDE 直接从噪声三角面片中进行学习，无需预处理，其在重建复杂、开放及拓扑结构复杂的表面时，相比 SOTA 模型如 DeepSDF 和 SAL，能更准确地生成法向量并减少伪影。

ABSTRACT

High fidelity representation of shapes with arbitrary topology is an important problem for a variety of vision and graphics applications. Owing to their limited resolution, classical discrete shape representations using point clouds, voxels and meshes produce low quality results when used in these applications. Several implicit 3D shape representation approaches using deep neural networks have been proposed leading to significant improvements in both quality of representations as well as the impact on downstream applications. However, these methods can only be used to represent topologically closed shapes which greatly limits the class of shapes that they can represent. As a consequence, they also often require clean, watertight meshes for training. In this work, we propose DUDE - a Deep Unsigned Distance Embedding method which alleviates both of these shortcomings. DUDE is a disentangled shape representation that utilizes an unsigned distance field (uDF) to represent proximity to a surface, and a normal vector field (nVF) to represent surface orientation. We show that a combination of these two (uDF+nVF) can be used to learn high fidelity representations for arbitrary open/closed shapes. As opposed to prior work such as DeepSDF, our shape representations can be directly learnt from noisy triangle soups, and do not need watertight meshes. Additionally, we propose novel algorithms for extracting and rendering iso-surfaces from the learnt representations. We validate DUDE on benchmark 3D datasets and demonstrate that it produces significant improvements over the state of the art.

研究动机与目标

• 解决现有隐式 3D 表示方法在训练时对完整封闭形状的依赖限制。
• 实现在无需预先修补孔洞的情况下，从噪声、开放的三角面片中进行高保真 3D 形状学习。
• 提升复杂和开放形状的表面法向估计精度，这对渲染和下游任务至关重要。
• 开发一种解耦的表示方法，结合 uDF 和 nVF，支持精确的等值面提取与渲染。
• 在基准数据集上展示其在重建开放及拓扑复杂形状方面优于当前最先进方法的性能。

提出的方法

• 提出无符号距离场（uDF）作为主要形状表示，其对开放和闭合表面均定义良好，而有符号距离函数则要求完整封闭的几何结构。
• 引入一个独立的深度神经网络来预测法向量场（nVF），即使 uDF 在表面处不可微，也能实现稳定且精确的表面法向估计。
• 通过最小化距离与法向一致性损失函数，联合训练 uDF 和 nVF，使模型能够直接从原始、无方向的三角面片中学习，而无需清洁的完整封闭网格。
• 提出一种新型的球面追踪策略，称为“Projection”，用于等值面提取，其在计算量远低于标准方法或重采样方法的前提下，提升了相交精度。
• 使用潜在码 z 条件化 uDF 和 nVF，实现形状空间学习，从而支持从稀疏点云中零样本重建未见过的形状。
• 采用基于 nVF 的可微渲染流水线，实现高质量的光线追踪渲染，验证了所学法向量的有效性。

实验结果

研究问题

• RQ1 深度神经网络表示能否有效建模具有任意拓扑结构的开放与闭合 3D 形状？
• RQ2 能否在不依赖可微有符号距离函数的前提下，可靠估计高保真表面法向？
• RQ3 能否直接从噪声、无方向的三角面片中训练 3D 形状表示，而无需完整封闭网格的预处理？
• RQ4 结合 uDF 和 nVF 是否能比现有隐式表示方法带来更优的等值面提取与渲染质量？
• RQ5 通过潜在形状空间学习的表示能否泛化到未见形状，实现从点云的零样本重建？

主要发现

• 在 ShapeNet 灯具类点云的保留测试集上，DUDE 的平均 Chamfer 距离为 1.67e-3，优于 SAL 的 1.84e-3。
• 所提出的“Projection”球面追踪方法在计算量仅为标准方法的 1/100 时，仍能实现比标准方法和计算成本高昂的“Resample”基线更低的深度误差。
• 使用所学 nVF 进行光线追踪渲染，其视觉效果显著优于使用 uDF 梯度生成的法向量，后者会产生不精确的法向和伪影。
• DUDE 正确保留了灯具中如缝隙等开放区域，而 SAL 则错误地将其闭合，证明了其在保持原始拓扑结构方面的优势。
• 该模型可直接从噪声三角面片中学习高保真表示，无需预处理生成完整封闭网格。
• 解耦的 uDF + nVF 表示方法即使在复杂拓扑和开放表面上，也能实现精确的表面重建与高质量渲染。