[论文解读] MetaSDF: Meta-learning Signed Distance Functions

Vincent Sitzmann, Eric R. Chan+3 more|arXiv (Cornell University)|Jun 17, 2020

3D Shape Modeling and Analysis参考文献 4被引用 91

一句话总结

MetaSDF 将对神经隐式 SDF 的学习先验视为基于梯度的元学习，使其能够在不使用网格编码器或潜在空间自解码器的情况下对新形状进行快速测试时自适应。

ABSTRACT

Neural implicit shape representations are an emerging paradigm that offers many potential benefits over conventional discrete representations, including memory efficiency at a high spatial resolution. Generalizing across shapes with such neural implicit representations amounts to learning priors over the respective function space and enables geometry reconstruction from partial or noisy observations. Existing generalization methods rely on conditioning a neural network on a low-dimensional latent code that is either regressed by an encoder or jointly optimized in the auto-decoder framework. Here, we formalize learning of a shape space as a meta-learning problem and leverage gradient-based meta-learning algorithms to solve this task. We demonstrate that this approach performs on par with auto-decoder based approaches while being an order of magnitude faster at test-time inference. We further demonstrate that the proposed gradient-based method outperforms encoder-decoder based methods that leverage pooling-based set encoders.

研究动机与目标

• 将形状空间的学习正式化为神经隐式 SDF 的元学习问题。
• 实现对新形状从部分观测中快速在测试时自适应。
• 在提高泛化性的同时，避免对规则网格和低维潜在空间的依赖。

提出的方法

• 用神经SDF Phi_i 表示形状 i 以近似其 SDF。
• 通过元网络的内循环专业化对 Phi_i 进行参数化。
• 使用梯度基元学习（类似 MAML）其中内循环更新 phi_i^j 以适应上下文 X_i^{train}，外循环更新 theta 以最小化 X_i^{test}。
• 使 phi_i^0 = theta，并执行 k 次内更新：phi_i^{j+1} = phi_i^j - alpha ⊙ ∇_{phi_i^j} L_train，L_train 从观测的 (x,s) 计算。
• 通过反向传播外循环损失 L_test 至内循环以更新 theta 及逐参数学习率 alpha。
• 相对于自解码器的优势在于更快的测试时推理和没有严格的潜在空间假设；在基于池化的集合编码器上具有更好的性能。

实验结果

研究问题

• RQ1 梯度基元学习是否能够从有限上下文观测中提供对神经隐式 SDF 的快速、灵活的专业化？
• RQ2 MetaSDF 与基于编码器、基于超网络和自解码器的方法在 2D 和 3D 形状泛化任务中的表现有何差异？
• RQ3 META-SDF 是否支持在没有网格输入或固定潜在编码的情况下从零等级集点重建？
• RQ4 学习到的形状空间对 out-of-distribution 形状和变换是否具备鲁棒性？
• RQ5 相对于现有方法，推理速度和重构质量的权衡如何？

主要发现

• MetaSDF 在与自解码器相当的性能上实现了推理时的一个数量级以上的加速。
• MetaSDF 在 2D 和 3D 实验中均优于基于池化的集合编码器，并且不需要低维潜在空间。
• 在基于 MNIST 的 2D SDF 中，MetaSDF 相比其他方法达到更低的一范式（1-norm）误差，尤其是在使用零等级集观测时。
• 在 ShapeNet 3D 实验中，MetaSDF 提供了与 DeepSDF 相当的均值/中位 Chamfer 距离，同时将推理时间从 ~8s 降低到 ~0.4s。
• MetaSDF 可以在零等级集点的条件下重建 3D 形状，并在对 out-of-distribution 形状的推广上表现更好，在若干 out-of-distribution 测试中误差更低。