[论文解读] Diffusion Probabilistic Models for 3D Point Cloud Generation

Shitong Luo, Wei Hu|arXiv (Cornell University)|Mar 2, 2021

3D Shape Modeling and Analysis参考文献 26被引用 24

一句话总结

基于扩散的概率模型通过学习一个条件于形状潜在变量的反向马尔可夫扩散过程来生成3D点云，达到有竞争力的生成与自编码性能。它使用变分下界目标和通过归一化流实现的潜在先验。

ABSTRACT

We present a probabilistic model for point cloud generation, which is fundamental for various 3D vision tasks such as shape completion, upsampling, synthesis and data augmentation. Inspired by the diffusion process in non-equilibrium thermodynamics, we view points in point clouds as particles in a thermodynamic system in contact with a heat bath, which diffuse from the original distribution to a noise distribution. Point cloud generation thus amounts to learning the reverse diffusion process that transforms the noise distribution to the distribution of a desired shape. Specifically, we propose to model the reverse diffusion process for point clouds as a Markov chain conditioned on certain shape latent. We derive the variational bound in closed form for training and provide implementations of the model. Experimental results demonstrate that our model achieves competitive performance in point cloud generation and auto-encoding. The code is available at \url{https://github.com/luost26/diffusion-point-cloud}.

研究动机与目标

• 为不规则的3D点云提供稳健的生成建模的动机。
• 提出一个基于扩散的、条件于形状潜在变量的反向过程来生成点云。
• 推导用于训练条件扩散模型的可解的变分目标。
• 展示在点云生成和自编码方面的竞争性性能。
• 展示用于无监督任务的表示学习能力。

提出的方法

• 将前向扩散建模为对点添加高斯噪声的马尔可夫链。
• 将反向扩散建模为一个可训练的高斯马尔可夫核，条件于形状潜在变量 z。
• 用归一化流对形状潜在先验 p(z) 进行参数化以提高灵活性。
• 推导闭式变分下界和可解的训练目标。
• 对编码器 q(z|X) 使用 PointNet，并使用仿射耦合流来变换 z 的分布。
• 将该框架应用于点云生成、自编码和无监督表示学习。

实验结果

研究问题

• RQ1 基于扩 diffusion 的、条件于形状潜在变量的反向过程是否能够准确生成多样化的3D点云？
• RQ2 对潜在变量 z 的条件是否能改善生成并通过归一化流实现灵活的先验？
• RQ3 变分下界是否可解且在训练点云扩散模型方面有效？
• RQ4 与最先进方法相比，所提出的方法在生成、自编码和表示学习任务中的表现如何？
• RQ5 潜在先验和编码器设计对重建与潜在表示有什么影响？

主要发现

• 该模型在点云生成和自编码方面取得了具有竞争力的性能。
• 基于扩散的反向过程在条件于形状潜在变量时能够生成有意义的3D形状。
• 归一化流为潜在形状变量提供了灵活的先验，从而提高了表达能力。
• 训练目标是可解的，且来自变分下界。
• 编码器和扩散框架为无监督任务提供了有信息量的潜在表示。
• 潜在空间的插值和可视化展示了学习到表示中的有意义结构。