[论文解读] A Deep Signed Directional Distance Function for Object Shape Representation

Ehsan Zobeidi, Nikolay Atanasov|arXiv (Cornell University)|Jul 23, 2021

Advanced Vision and Imaging被引用 6

一句话总结

本文提出了一种深度有符号方向距离函数（SDDF），用于隐式3D形状表示，可从任意3D位置和观察方向建模到物体表面的距离。通过在网络设计中施加结构化梯度约束，该方法仅使用深度或LiDAR数据即可实现无需3D监督的训练，支持类别级形状建模（通过潜在码），并实现高精度的新视角合成与形状补全，且后处理步骤极少。

ABSTRACT

Neural networks that map 3D coordinates to signed distance function (SDF) or occupancy values have enabled high-fidelity implicit representations of object shape. This paper develops a new shape model that allows synthesizing novel distance views by optimizing a continuous signed directional distance function (SDDF). Similar to deep SDF models, our SDDF formulation can represent whole categories of shapes and complete or interpolate across shapes from partial input data. Unlike an SDF, which measures distance to the nearest surface in any direction, an SDDF measures distance in a given direction. This allows training an SDDF model without 3D shape supervision, using only distance measurements, readily available from depth camera or Lidar sensors. Our model also removes post-processing steps like surface extraction or rendering by directly predicting distance at arbitrary locations and viewing directions. Unlike deep view-synthesis techniques, such as Neural Radiance Fields, which train high-capacity black-box models, our model encodes by construction the property that SDDF values decrease linearly along the viewing direction. This structure constraint not only results in dimensionality reduction but also provides analytical confidence about the accuracy of SDDF predictions, regardless of the distance to the object surface.

研究动机与目标

• 开发一种连续、可微的隐式形状表示方法，支持新距离视角的合成。
• 通过仅在深度或LiDAR测量数据上进行训练，消除对3D监督的需求。
• 构建一种神经网络架构，其本身满足SDDF值沿观察方向线性递减的几何约束。
• 通过学习的潜在码空间实现类别级形状建模与插值。
• 通过一种新颖的数据增强技术，从稀疏观测中合成多视角距离数据，以减少数据需求。

提出的方法

• 提出有符号方向距离函数（SDDF）作为连续函数 h(p, η)，用于测量从点 p 沿单位向量 η 到物体表面的有符号距离。
• 推导出一个微分方程，确保SDDF值沿观察方向线性递减，该约束通过网络架构设计直接嵌入。
• 设计一种具有改进损失函数的神经网络，强制执行SDDF梯度约束，从而实现无需表面提取或渲染步骤的鲁棒训练。
• 提出一种数据增强技术，利用球面投影和凸包近似，仅使用单个点云即可从新视角合成距离测量值。
• 通过引入类别级自编码器和实例级潜在码，扩展SDDF模型，以支持跨类别对象的形状插值与补全。
• 端到端训练模型，仅使用深度传感器的距离测量值，避免3D监督及后处理步骤（如Marching Cubes）。

实验结果

研究问题

• RQ1 神经网络能否在无3D监督的情况下，仅从稀疏深度测量中学习到连续、多视角一致的SDDF表示？
• RQ2 能否将SDDF值沿观察方向线性递减的结构约束编码进神经网络，以提升泛化能力并降低对数据的依赖？
• RQ3 SDDF模型能否支持类别级形状表示，从而实现从部分观测中对未见实例的插值与补全？
• RQ4 在重建精度和对稀疏输入的鲁棒性方面，SDDF模型相较于现有隐式与显式形状表示方法表现如何？
• RQ5 SDDF模型能否直接生成新距离视角，而无需进行表面提取或可微渲染？

主要发现

• 所提出的SDDF模型仅从单张距离图像或点云观测中即可实现高精度形状重建，定量性能达到或超过GRNet、AtlasNet和PCN等最先进方法。
• 模型在潜在形状空间中实现了平滑且有意义的线性插值，能够生成对象实例之间的有效中间形状，ShapeNet上的定性结果已验证此能力。
• 在推理阶段通过潜在码优化实现的形状补全，仅需1000条有限射线和1000条无限射线即可生成高质量重建结果，在重建精度上优于IGR及其他基线方法。
• 结构化梯度约束将有效输入维度从5降低至4，提升了训练效率，并确保无论距离表面远近，预测结果均准确。
• 数据增强技术使模型能够从小型数据集训练出多视角一致的SDDF模型，降低了对大规模多视角深度数据的依赖。
• 该方法可直接在任意位置和方向预测距离，消除了对表面提取或渲染等后处理步骤的需求。