[论文解读] DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation

Jeong Joon Park, Pete Florence+3 more|arXiv (Cornell University)|Jan 15, 2019

3D Shape Modeling and Analysis被引用 7

一句话总结

DeepSDF 提出了一种基于神经网络的连续有符号距离函数（SDF）表示方法，用于3D形状，通过学习潜在码条件化的解码器来隐式表示整个形状类别。该方法在3D形状重建与补全任务中达到最先进性能，模型大小仅为7.4 MB，与先前方法相比显著降低了内存占用。

ABSTRACT

Computer graphics, 3D computer vision and robotics communities have produced multiple approaches to representing 3D geometry for rendering and reconstruction. These provide trade-offs across fidelity, efficiency and compression capabilities. In this work, we introduce DeepSDF, a learned continuous Signed Distance Function (SDF) representation of a class of shapes that enables high quality shape representation, interpolation and completion from partial and noisy 3D input data. DeepSDF, like its classical counterpart, represents a shape's surface by a continuous volumetric field: the magnitude of a point in the field represents the distance to the surface boundary and the sign indicates whether the region is inside (-) or outside (+) of the shape, hence our representation implicitly encodes a shape's boundary as the zero-level-set of the learned function while explicitly representing the classification of space as being part of the shapes interior or not. While classical SDF's both in analytical or discretized voxel form typically represent the surface of a single shape, DeepSDF can represent an entire class of shapes. Furthermore, we show state-of-the-art performance for learned 3D shape representation and completion while reducing the model size by an order of magnitude compared with previous work.

研究动机与目标

• 开发一种连续、可微且紧凑的3D形状表示方法，能够泛化于整个形状类别。
• 通过深度学习实现从部分或噪声输入数据中高质量重建与补全3D形状。
• 在保持或提升重建保真度的同时，减少模型大小，相较于先前的隐式或显式3D表示方法。
• 证明单个学习得到的SDF网络可通过共享潜在空间表示数千种形状。
• 通过连续SDF评估实现在潜在空间中的插值与新形状生成。

提出的方法

• 训练一个前馈神经网络，以学习潜在码向量为条件，在任意3D坐标点上预测有符号距离值。
• 模型采用概率自编码器框架，通过最小化形状表面内外采样点的重建损失来从潜在码重构形状。
• SDF被隐式定义为网络输出的零水平集，其中负值表示内部，正值表示外部，零值位于表面。
• 训练数据由从真实形状中采样的3D点及其对应的SDF值组成，包含内部和外部点。
• 通过梯度下降优化潜在码，以重建未见形状，实现零样本形状表示。
• 该方法支持在任意3D位置对SDF进行连续、可微分的评估，从而通过光线投射实现高保真渲染与表面提取。

实验结果

研究问题

• RQ1 深度神经网络能否学习到整个3D形状类别的连续、可泛化的SDF表示？
• RQ2 与现有3D形状表示技术相比，该方法在重建与补全质量方面表现如何？
• RQ3 所学习的潜在空间在多大程度上支持插值与生成新颖、逼真的3D形状？
• RQ4 与基于体素或网格的替代方法相比，该表示的内存效率如何？
• RQ5 模型能否通过潜在码优化泛化到训练集中未见的形状？

主要发现

• DeepSDF在多个ShapeNet类别中均实现了3D形状重建与补全的最先进性能，在所有指标上均优于先前方法。
• 在椅子类别中，DeepSDF的网格补全得分达到0.947，余弦相似度为0.896，显著优于AtlasNet-Sph（0.668和0.790）与AtlasNet-25（0.723和0.797）。
• 该模型在飞机类别中实现了0.970的网格补全得分，在桌子类别中达到0.982，表明其在重建复杂拓扑结构方面具有高保真度。
• DeepSDF仅需7.4 MB内存即可表示数千个3D形状的整个类别，小于单个体素网格（512³未压缩）的16.8 MB大小的一半。
• 该方法通过潜在码优化成功重建了未见的测试形状，证明了所学习潜在空间的泛化能力与表达能力。
• 在沙发类别中，模型实现了0.917的高余弦相似度，表明法向估计与表面一致性准确。