[论文解读] A Conditional Denoising Diffusion Probabilistic Model for Point Cloud Upsampling

Wentao Qu, Yuantian Shao+3 more|arXiv (Cornell University)|Dec 3, 2023

3D Shape Modeling and Analysis被引用 4

一句话总结

该论文提出PUDM，一种用于点云上采样的条件去噪扩散概率模型，通过双映射范式直接学习密集点云数据分布的梯度，无需显式上采样模块。在PU1K和PUGAN基准上，PUDM在Chamfer Distance（CD）和Hausdorff Distance（HD）指标上均达到最先进性能，具备抗噪能力，并通过学习的速率因子参数化实现任意尺度生成。

ABSTRACT

Point cloud upsampling (PCU) enriches the representation of raw point clouds, significantly improving the performance in downstream tasks such as classification and reconstruction. Most of the existing point cloud upsampling methods focus on sparse point cloud feature extraction and upsampling module design. In a different way, we dive deeper into directly modelling the gradient of data distribution from dense point clouds. In this paper, we proposed a conditional denoising diffusion probability model (DDPM) for point cloud upsampling, called PUDM. Specifically, PUDM treats the sparse point cloud as a condition, and iteratively learns the transformation relationship between the dense point cloud and the noise. Simultaneously, PUDM aligns with a dual mapping paradigm to further improve the discernment of point features. In this context, PUDM enables learning complex geometry details in the ground truth through the dominant features, while avoiding an additional upsampling module design. Furthermore, to generate high-quality arbitrary-scale point clouds during inference, PUDM exploits the prior knowledge of the scale between sparse point clouds and dense point clouds during training by parameterizing a rate factor. Moreover, PUDM exhibits strong noise robustness in experimental results. In the quantitative and qualitative evaluations on PU1K and PUGAN, PUDM significantly outperformed existing methods in terms of Chamfer Distance (CD) and Hausdorff Distance (HD), achieving state of the art (SOTA) performance.

研究动机与目标

• 解决现有点云上采样方法依赖于上采样模块的间接近似和CD损失监督所带来的局限性。
• 探索使用概率生成模型——特别是条件DDPM——直接建模密集点云数据分布的可能性。
• 通过利用主导特征并避免对稀疏输入结构的偏差，提升几何细节恢复能力。
• 通过可学习的速率因子引入尺度先验知识，在推理阶段实现高保真、任意尺度的点云生成。
• 通过解耦CD损失并利用DDPM固有的去噪架构，提升对噪声的鲁棒性。

提出的方法

• PUDM将点云上采样建模为一个条件生成问题，采用去噪扩散概率模型（DDPM），其中稀疏点云作为条件输入。
• 通过从真实密集点云中学习数据分布的梯度，建模反向去噪过程，从而直接拟合复杂几何结构。
• 引入双映射范式，建立以下两组映射关系：(1) 生成的稀疏点云与输入稀疏点云之间的映射，(2) 密集点云与噪声之间的映射，以增强特征感知能力。
• 在训练过程中对速率因子进行参数化，以编码稀疏与密集点云之间尺度比的先验知识，从而支持任意尺度的推理。
• 训练目标源自ELBO，最小化扩散过程中预测噪声与真实噪声之间的重建损失，表达式为 $\mathbb{E}_{t,\epsilon}||\epsilon - \epsilon_\theta(\sqrt{1-\bar{\alpha}_t}\epsilon + \sqrt{\bar{\alpha}_t}x_0, t, C)||^2$。
• DDPM的自回归特性确保了点级坐标映射的内在一致性，避免了基于模块的上采样方法中常见的结构失真。

实验结果

研究问题

• RQ1 条件去噪扩散模型是否能有效建模密集点云的潜在数据分布，实现在无显式上采样模块情况下的上采样？
• RQ2 双映射范式如何提升点云上采样中的特征判别力与几何细节恢复能力？
• RQ3 可学习的速率因子参数化是否能够实现在推理阶段的高保真、任意尺度点云生成？
• RQ4 与依赖CD损失的方法相比，基于DDPM的方法是否展现出更优的抗噪性能？
• RQ5 建模数据分布的梯度在多大程度上能带来优于间接特征近似的重建保真度？

主要发现

• PUDM在PU1K和PUGAN基准上均达到最先进性能，在Chamfer Distance（CD）和Hausdorff Distance（HD）指标上显著优于先前方法。
• 在PU1K上，PUDM实现CD为0.00088，HD为0.0021，展现出卓越的重建精度。
• 在PUGAN上，PUDM实现CD为0.00102，HD为0.0023，进一步证实其SOTA性能。
• 该模型表现出强大的抗噪能力，在输入存在噪声时仍能保持高质量输出。
• 可视化结果表明，PUDM成功恢复了精细几何细节（如红猪面部特征），而此前方法则未能实现。
• 消融研究证实，双映射机制与速率因子参数化对性能至关重要，尤其在复杂结构的保持方面。