[论文解读] Learning Smooth Neural Functions via Lipschitz Regularization

Hsueh‐Ti Derek Liu, FRANCIS H. WILLIAMS+3 more|arXiv (Cornell University)|Feb 16, 2022

3D Shape Modeling and Analysis被引用 7

一句话总结

本文提出了一种简单且计算高效的 Lipschitz 正则化方法，用于神经隐式场，通过惩罚网络 Lipschitz 常数的上界来在潜在空间中强制实现平滑性。通过添加权重归一化和一个最小正则化项，该方法即使仅使用两个训练形状，也能实现高质量的形状插值与外推，且在 3D 重建和测试时优化任务的定性和定量评估中，显著优于非正则化方法及先前的 Lipschitz 方法。

ABSTRACT

Neural implicit fields have recently emerged as a useful representation for 3D shapes. These fields are commonly represented as neural networks which map latent descriptors and 3D coordinates to implicit function values. The latent descriptor of a neural field acts as a deformation handle for the 3D shape it represents. Thus, smoothness with respect to this descriptor is paramount for performing shape-editing operations. In this work, we introduce a novel regularization designed to encourage smooth latent spaces in neural fields by penalizing the upper bound on the field's Lipschitz constant. Compared with prior Lipschitz regularized networks, ours is computationally fast, can be implemented in four lines of code, and requires minimal hyperparameter tuning for geometric applications. We demonstrate the effectiveness of our approach on shape interpolation and extrapolation as well as partial shape reconstruction from 3D point clouds, showing both qualitative and quantitative improvements over existing state-of-the-art and non-regularized baselines.

研究动机与目标

• 为解决神经隐式场潜在空间中缺乏平滑性的问题，该问题会阻碍可靠的形状编辑与插值。
• 克服传统平滑性正则化方法（如 Dirichlet 能量）在训练数据之外无法泛化的局限性。
• 开发一种实用且轻量级的正则化方法，确保潜在空间中的全局平滑性，且无需大量超参数调优。
• 实现在极低监督设置下（如仅两个训练形状）的高质量形状插值与外推。
• 提升部分点云重建任务中测试时优化的稳定性与性能。

提出的方法

• 提出一种新颖的正则化方法，通过惩罚神经网络 Lipschitz 常数的上界来在潜在空间中强制实现平滑性。
• 使用权重归一化以稳定梯度更新，并提升 Lipschitz 估计的泛化能力。
• 在标准损失函数中增加一个简单的正则化项，以鼓励较小的 Lipschitz 常数。
• 采用基于全连接层谱范数估计的可微分 Lipschitz 常数上界。
• 在训练过程中应用该正则化，以确保潜在码之间的平滑插值与外推。
• 仅需四行代码且超参数调优极少，可轻松集成至几何深度学习流水线中。

实验结果

研究问题

• RQ1 一种简单且轻量级的正则化技术是否能在无需大量超参数调优的情况下，强制实现神经隐式场潜在空间的全局平滑性？
• RQ2 与传统的平滑性正则化方法（如 Dirichlet 能量）相比，Lipschitz 正则化在泛化能力方面表现如何，特别是在训练集之外？
• RQ3 当仅使用两个形状进行训练时，Lipschitz 正则化在多大程度上能提升形状插值与外推性能？
• RQ4 Lipschitz 正则化是否能稳定部分点云重建的测试时优化？
• RQ5 所提出的方法是否在定性和定量重建指标上均优于最先进基线方法？

主要发现

• 即使仅使用两个形状进行训练，所提方法在形状插值与外推方面也显著优于非正则化方法及先前的 Lipschitz 方法。
• 在部分点云重建的测试时优化中，该方法将平均 Chamfer 距离从基线方法 DeepSDF 的 0.0343 降低至 0.0013，Hausdorff 距离从 0.3441 降低至 0.1270。
• 该方法通过促使潜在流形更加紧凑和平滑，稳定了测试时优化，降低了对初始化和局部极小值的敏感性。
• 该正则化方法计算高效，且超参数调优极少，其性能在多种几何任务中均保持稳定。
• 该方法实现了潜在码之间形状的平滑、连续形变，如在环面与双环面之间的插值所展示的那样。
• 该方法可泛化至其他隐式表示（如占用网络），并在重建质量上表现出一致的改进。