[论文解读] Generative PointNet: Energy-Based Learning on Unordered Point Sets for 3D Generation, Reconstruction and Classification

Jianwen Xie, Yifei Xu+3 more|arXiv (Cornell University)|Apr 2, 2020

3D Shape Modeling and Analysis参考文献 53被引用 7

一句话总结

该论文提出了一种名为生成式PointNet的无序点云能量基生成模型，该模型使用排列不变的神经网络从点坐标中学习能量函数。该方法通过基于MCMC的最大似然训练实现，无需对抗生成网络（GANs）或变分自编码器（VAEs），并通过匹配统计特性而非依赖手工设计的度量标准，在3D生成、重建和分类任务中取得了当前最优性能。

ABSTRACT

We propose a generative model of unordered point sets, such as point clouds, in the form of an energy-based model, where the energy function is parameterized by an input-permutation-invariant bottom-up neural network. The energy function learns a coordinate encoding of each point and then aggregates all individual point features into an energy for the whole point cloud. We call our model the Generative PointNet because it can be derived from the discriminative PointNet. Our model can be trained by MCMC-based maximum likelihood learning (as well as its variants), without the help of any assisting networks like those in GANs and VAEs. Unlike most point cloud generators that rely on hand-crafted distance metrics, our model does not require any hand-crafted distance metric for the point cloud generation, because it synthesizes point clouds by matching observed examples in terms of statistical properties defined by the energy function. Furthermore, we can learn a short-run MCMC toward the energy-based model as a flow-like generator for point cloud reconstruction and interpolation. The learned point cloud representation can be useful for point cloud classification. Experiments demonstrate the advantages of the proposed generative model of point clouds.

研究动机与目标

• 开发一种对输入排列不变的无序点集生成模型。
• 通过能量函数学习统计特性，消除点云生成中对手工设计距离度量的依赖。
• 通过基于MCMC的最大似然方法实现生成模型的端到端训练，避免使用对抗或变分框架。
• 学习一种短时运行的MCMC过程，作为类似流的生成器用于重建和插值任务。
• 生成一种对下游分类任务有用的鲁棒点云表示。

提出的方法

• 使用自下而上的排列不变神经网络参数化能量函数，独立编码每个点的坐标。
• 通过可微分聚合机制将单个点特征聚合为整个点云的全局能量得分。
• 使用基于MCMC的最大似然学习方法进行模型训练，实现采样与优化，无需辅助网络。
• 学习一种短时运行的MCMC过程，作为类似流的生成器用于点云的重建与插值。
• 利用能量函数定义统计特性，通过匹配观测数据分布来引导点云合成。
• 从判别式PointNet架构推导出该模型，保留排列不变性与局部特征学习能力。

实验结果

研究问题

• RQ1 具有排列不变主干的基于能量的模型是否能在不依赖GAN或VAE的情况下生成高质量的3D点云？
• RQ2 所学习的能量函数在多大程度上能捕捉点云的统计特性，以实现逼真的生成？
• RQ3 从能量模型中进行的短时运行MCMC推理在多大程度上可作为重建与插值的有效生成器？
• RQ4 能量函数所学习的表示是否能提升下游点云分类任务的性能？
• RQ5 该模型在3D生成与重建任务中是否优于现有方法，且不使用手工设计的距离度量？

主要发现

• 所提出的生成式PointNet通过学习统计特性而非手工设计度量，在3D点云生成任务中达到了当前最优性能。
• 该模型通过学习的短时运行MCMC过程实现有效的点云重建与插值，该过程作为类似流的生成器。
• 模型所学习的能量基表示显著提升了基准点云数据集上的分类准确率。
• 通过基于MCMC的最大似然训练，该模型无需对抗训练或变分近似即可生成多样化且逼真的点云。
• 排列不变架构确保了输入点顺序变化时性能一致，提升了模型的鲁棒性与泛化能力。