[论文解读] Learning Gradient Fields for Shape Generation

Ruojin Cai, Guandao Yang+5 more|arXiv (Cornell University)|Aug 14, 2020

3D Shape Modeling and Analysis参考文献 61被引用 9

一句话总结

本文提出了一种新颖的3D形状生成方法，通过基于分数的生成建模学习点云分布的对数密度梯度场。通过在预测的梯度场上执行随机梯度上升，模型能够生成高保真度的点云，并隐式提取表面，而无需真实网格作为监督，即使在输入稀疏的情况下，也在自编码与生成任务中达到了最先进性能。

ABSTRACT

In this work, we propose a novel technique to generate shapes from point cloud data. A point cloud can be viewed as samples from a distribution of 3D points whose density is concentrated near the surface of the shape. Point cloud generation thus amounts to moving randomly sampled points to high-density areas. We generate point clouds by performing stochastic gradient ascent on an unnormalized probability density, thereby moving sampled points toward the high-likelihood regions. Our model directly predicts the gradient of the log density field and can be trained with a simple objective adapted from score-based generative models. We show that our method can reach state-of-the-art performance for point cloud auto-encoding and generation, while also allowing for extraction of a high-quality implicit surface. Code is available at https://github.com/RuojinCai/ShapeGF.

研究动机与目标

• 开发一种灵活且可扩展的3D点云生成方法，避免固定尺寸生成、自回归排序或对抗性训练的局限性。
• 将3D点云的潜在分布建模为连续密度场，以支持任意采样和拓扑灵活性。
• 在训练过程中无需真实网格监督，直接从学习到的梯度场实现高质量隐式表面重建。
• 通过简单的L2损失目标，在点云自编码与生成任务中实现最先进性能。
• 在不同先验分布下采样时表现出鲁棒性，且对采样初始点分布的选择不敏感。

提出的方法

• 模型使用深度神经网络预测对数密度场的梯度（Stein得分函数），从而参数化潜在密度场中上升最快的方向。
• 训练采用去噪分数匹配目标，通过输入点云估计的梯度场与预测梯度场之间的L2损失进行优化。
• 采样通过Langevin动力学实现：通过沿预测梯度场迭代扰动和移动点，逐步进入高密度区域。
• 该方法利用退火Langevin动力学以提升采样质量和收敛性。
• 通过求解学习到的密度场的等值面（特别是对数密度梯度场的零值等值面）来提取隐式表面。
• 模型仅使用点云数据进行端到端训练，无需符号距离场或占据标签。

实验结果

研究问题

• RQ1 仅在点云上进行训练的分数模型能否生成高质量且多样化的3D形状，且点数可任意设定？
• RQ2 能否从稀疏且不完整的点云中有效学习对数密度的梯度场？
• RQ3 该模型是否能在无真实网格监督的情况下实现高质量的隐式表面重建？
• RQ4 与现有最先进模型相比，该方法在自编码与生成任务中的表现如何？
• RQ5 采样过程对点初始化的先验分布选择是否具有鲁棒性？

主要发现

• 在所有ShapeNet类别中，该模型在点云自编码与生成任务中均达到最先进性能，优于先前方法在MMD、COV和1-NNA指标上的表现。
• 在Airplane类别中，模型的MMD-CD为1.332（×10⁻³），MMD-EMD为7.768（×10⁻²），显著优于VAE基线模型的1.909和9.004。
• 即使在仅使用600个点的稀疏点云上进行训练，模型仍能保持强大性能，实现对扫描部分形状的高保真重建。
• 该方法对先验分布选择具有鲁棒性：从均匀分布、高斯分布或单点分布初始化采样，均能生成高质量结果，如定性比较所示。
• 实现了潜在空间的解耦：T-SNE可视化显示，相似形状在学习到的128维潜在码空间中聚集在一起。
• 隐式表面提取可直接从学习到的梯度场生成高质量网格，且训练过程中无需真实表面监督。