[论文解读] Grad-PU: Arbitrary-Scale Point Cloud Upsampling via Gradient Descent with Learned Distance Functions

Yun He, Danhang Tang+3 more|arXiv (Cornell University)|Apr 24, 2023

3D Shape Modeling and Analysis被引用 9

一句话总结

Grad-PU 通过在欧几里得空间先进行中点内插后再用由学习的点对点距离函数（P2PNet）引导的梯度下降来细化位置，从而实现任意速率的点云上采样。在不针对不同上采样率重新训练的情况下，方法达到最先进的准确性与效率。

ABSTRACT

Most existing point cloud upsampling methods have roughly three steps: feature extraction, feature expansion and 3D coordinate prediction. However,they usually suffer from two critical issues: (1)fixed upsampling rate after one-time training, since the feature expansion unit is customized for each upsampling rate; (2)outliers or shrinkage artifact caused by the difficulty of precisely predicting 3D coordinates or residuals of upsampled points. To adress them, we propose a new framework for accurate point cloud upsampling that supports arbitrary upsampling rates. Our method first interpolates the low-res point cloud according to a given upsampling rate. And then refine the positions of the interpolated points with an iterative optimization process, guided by a trained model estimating the difference between the current point cloud and the high-res target. Extensive quantitative and qualitative results on benchmarks and downstream tasks demonstrate that our method achieves the state-of-the-art accuracy and efficiency.

研究动机与目标

• 支持任意上采样率且无需对每个速率重新训练的动机。
• 解决在3D坐标预测中的不准确性与伪影（异常点/收缩）。
• 通过在欧几里得空间的内插实现点生成的解耦。
• 通过学习的、可微分距离函数对内插点进行细化。

提出的方法

• 在欧几里得空间通过中点内插进行上采样，以为给定速率生成内插点云。
• 通过学习的距离函数 F(p) 指引的迭代梯度下降过程，对内插点进行细化，目标点与最近真值点之间的距离。
• 学习一个可微分的本体 P2PNet，用以在多尺度局部与全局特征的帮助下估计内插点到点的距离。
• 用高斯噪声扰动样本来训练 P2PNet，以模拟迭代位移并改善距离函数的连续性。
• 将细化公式设为 p^{t+1} = p^t - lambda * grad F(p^t) in across T 次迭代，其中推理阶段的 F 由 P2PNet 近似。
• 采用基于 P3DConv 的特征提取，生成用于距离回归的本地/全局特征。

实验结果

研究问题

• RQ1 是否可以在不对每个速率重新训练模型的前提下实现任意上采样率？
• RQ2 优化学习到的点对点距离函数是否比直接的坐标偏移预测能带来更稳定、准确的上采样？
• RQ3 将点生成（内插）与细化解耦对鲁棒性和下游任务性能有何影响？
• RQ4 在现实世界的拓扑复杂点云中，微分距离本体是否足以引导迭代细化？

主要发现

• 所提出的 Grad-PU 框架在基准数据集的各上采样率上都达到最先进的准确性与效率。
• 中点内插实现了点生成与学习的解耦，使得即可实现任意上采样率而无需重新训练。
• 可微分的点对点距离网络（P2PNet 为梯度细化提供稳定本体）。
• 基于距离的细化在减少异常点和收缩伪影方面优于直接的3D坐标预测。
• 该方法提升了下游任务，如语义分类和表面重建的性能。
• 在噪声和不同输入密度下具有鲁棒性，并对未见速率具有泛化能力。