[论文解读] Neural Unsigned Distance Fields for Implicit Function Learning

Julian Chibane, Aymen Mir+1 more|arXiv (Cornell University)|Oct 26, 2020

3D Shape Modeling and Analysis参考文献 80被引用 31

一句话总结

介绍神经无符号距离场（NDF），一种预测表面无符号距离场的神经网络表示，能够表示开放表面、内部结构和流形；在稀疏点云上实现最先进的三维重建，并支持密集表面提取、网格和渲染，同时无需闭合形状。

ABSTRACT

In this work we target a learnable output representation that allows continuous, high resolution outputs of arbitrary shape. Recent works represent 3D surfaces implicitly with a Neural Network, thereby breaking previous barriers in resolution, and ability to represent diverse topologies. However, neural implicit representations are limited to closed surfaces, which divide the space into inside and outside. Many real world objects such as walls of a scene scanned by a sensor, clothing, or a car with inner structures are not closed. This constitutes a significant barrier, in terms of data pre-processing (objects need to be artificially closed creating artifacts), and the ability to output open surfaces. In this work, we propose Neural Distance Fields (NDF), a neural network based model which predicts the unsigned distance field for arbitrary 3D shapes given sparse point clouds. NDF represent surfaces at high resolutions as prior implicit models, but do not require closed surface data, and significantly broaden the class of representable shapes in the output. NDF allow to extract the surface as very dense point clouds and as meshes. We also show that NDF allow for surface normal calculation and can be rendered using a slight modification of sphere tracing. We find NDF can be used for multi-target regression (multiple outputs for one input) with techniques that have been exclusively used for rendering in graphics. Experiments on ShapeNet show that NDF, while simple, is the state-of-the art, and allows to reconstruct shapes with inner structures, such as the chairs inside a bus. Notably, we show that NDF are not restricted to 3D shapes, and can approximate more general open surfaces such as curves, manifolds, and functions. Code is available for research at https://virtualhumans.mpi-inf.mpg.de/ndf/.

研究动机与目标

• 提出一种可学习的输出表示，支持任意形状的连续、高分辨率输出。
• 消除在训练时闭合形状的要求，以处理开放表面和内部结构。
• 实现从稀疏点云到密集点云、网格和可渲染图像的重建。
• 在 ShapeNet 上展示最先进的重建性能，并将 NDF 扩展到开放曲线、流形和函数。

提出的方法

• 用多尺度3D卷积神经网络对输入点云进行编码，产生网格特征。
• 通过回归表面无符号距离来解码，形式为 f(p) = Phi(Psi_x(p))，其中 Psi_x 在 p 处提取多尺度特征，Phi 将特征映射到非负距离。
• 训练时使用将距离夹紧到预算 delta 的损失，以聚焦表面近旁。
• 通过反向传播计算 f 的解析梯度以进行表面提取和法线估计。
• 提供提取密集点云的算法（通过投影 p - f(p)∇f(p)）以及用现成方法生成网格的算法。
• 通过改良的球面追踪过程进行渲染和法线估计。
• 通过把 f(x, y) = 0 的形式来实现多目标回归，以建模给定输入的多个输出。

实验结果

研究问题

• RQ1 与传统的 SDF/基于占据的方法不同，NDF 能否表示具有内部结构的开放表面和形状？
• RQ2 NDF 能否直接在原始扫描上进行训练，而不闭合表面，仍然实现高质量重建？
• RQ3 NDF 是否能够重建复杂的真实场景和开放的服装，而不仅仅是闭合的三维模型？
• RQ4 NDF 是否可以扩展为表示曲线、流形和超越三维形状的一般函数？
• RQ5 是否可以从 NDF 梯度导出表面法线，以实现渲染和着色？

主要发现

• NDF 在 ShapeNet 的汽车从稀疏点云重建中达到最先进的重建精度，优于若干基线方法。
• NDF 能重建具有内部结构的形状（例如公车内的椅子）和开放表面，这是此前的 IFL 方法无法表示的。
• NDF 能表示开放曲线和流形，并且能够插值/近似二维函数和螺旋，在函数回归实验中得到证明。
• 在原始扫描上进行训练且不需要闭合 Hull，相对于像 SAL 这样的闭合数据基线，带来显著的精度提升。
• 本文提供将学习到的无符号距离场直接用于获得密集点云、网格和渲染的实用算法。