[论文解读] PointFlow: 3D Point Cloud Generation with Continuous Normalizing Flows

Guandao Yang, Xun Huang+4 more|arXiv (Cornell University)|Jun 28, 2019

3D Shape Modeling and Analysis参考文献 56被引用 72

一句话总结

PointFlow 模型将三维点云表示为一个分布的分布，使用两个堆叠的连续正则化流来表示形状分布和给定形状的点分布，从而实现端到端的似然训练和高保真生成。

ABSTRACT

As 3D point clouds become the representation of choice for multiple vision and graphics applications, the ability to synthesize or reconstruct high-resolution, high-fidelity point clouds becomes crucial. Despite the recent success of deep learning models in discriminative tasks of point clouds, generating point clouds remains challenging. This paper proposes a principled probabilistic framework to generate 3D point clouds by modeling them as a distribution of distributions. Specifically, we learn a two-level hierarchy of distributions where the first level is the distribution of shapes and the second level is the distribution of points given a shape. This formulation allows us to both sample shapes and sample an arbitrary number of points from a shape. Our generative model, named PointFlow, learns each level of the distribution with a continuous normalizing flow. The invertibility of normalizing flows enables the computation of the likelihood during training and allows us to train our model in the variational inference framework. Empirically, we demonstrate that PointFlow achieves state-of-the-art performance in point cloud generation. We additionally show that our model can faithfully reconstruct point clouds and learn useful representations in an unsupervised manner. The code will be available at https://github.com/stevenygd/PointFlow.

研究动机与目标

• 将三维点云的概率模型建模为分布的分布（形状及形状内的点）。
• 实现从学习到的形状生成任意点数的点云的采样。
• 使用可逆流的变分推断进行端到端训练，以实现精确的似然计算。
• 为基于GAN的点云生成方法提供一种有原则的替代方案。

提出的方法

• 用对潜在形状变量 z 的连续正则化流 (CNF) 来建模形状分布。
• 用一个条件 CNF G_theta 来建模在形状给定下的点分布，使其将先验 y(t0) ~ N(0,I) 映射到条件于 z 的点 x 。
• 通过一个对高斯先验 w 作用的可学习 CNF F_psi，来对形状 z 建立 CNF 基先验。
• 用包含先验项、重建项和后验熵的变分下界 (ELBO) 进行训练。
• 通过 F_psi 采样 z，然后在给定 z 的情况下通过 G_theta 生成点，从高斯先验开始。
• 通过 CNF 密度估计提供精确对数似然并实现端到端优化。

实验结果

研究问题

• RQ1 分布的分布框架（每个形状的形状和点）是否能提升点云生成质量与灵活性？
• RQ2 对形状先验和点生成都使用连续正则化流，是否能实现基于似然的端到端训练并获得更好的重建？
• RQ3 PointFlow 相较于基于 GAN 的点云生成器在标准指标和无监督表示学习方面表现如何？

主要发现

• PointFlow 在 ShapeNet 的类别上实现了点云生成的最先进性能，并在 1-NNA 及其他指标上超越基线。
• 该模型能够从学习到的形状中采样任意数量的点，解决固定大小点集的限制。
• 基于 CNF 的形状先验与点生成的条件 CNF 使得似然具有闭式解，实现稳定的端到端训练，无需 GAN。
• 该方法在下游任务（如 ModelNet 分类）上提供了具有竞争力的无监督学习表示。
• PointFlow 使用的参数数量远少于某些基线，同时保持或提升性能。