[论文解读] HyperFlow: Representing 3D Objects as Surfaces

Przemysław Spurek, Maciej Zięba+2 more|arXiv (Cornell University)|Jun 15, 2020

3D Shape Modeling and Analysis参考文献 32被引用 5

一句话总结

HyperFlow 提出了一种新颖的生成模型，通过超网络生成连续归一化流（CNF）目标网络的权重，将3D物体表示为连续曲面。通过引入具有非紧致支集的球面对数正态先验，该方法实现了从点云到高质量网格的稳定重建，相比先前的PointFlow等方法，训练速度提升10倍以上，内存占用显著降低。

ABSTRACT

In this work, we present HyperFlow - a novel generative model that leverages hypernetworks to create continuous 3D object representations in a form of lightweight surfaces (meshes), directly out of point clouds. Efficient object representations are essential for many computer vision applications, including robotic manipulation and autonomous driving. However, creating those representations is often cumbersome, because it requires processing unordered sets of point clouds. Therefore, it is either computationally expensive, due to additional optimization constraints such as permutation invariance, or leads to quantization losses introduced by binning point clouds into discrete voxels. Inspired by mesh-based representations of objects used in computer graphics, we postulate a fundamentally different approach and represent 3D objects as a family of surfaces. To that end, we devise a generative model that uses a hypernetwork to return the weights of a Continuous Normalizing Flows (CNF) target network. The goal of this target network is to map points from a probability distribution into a 3D mesh. To avoid numerical instability of the CNF on compact support distributions, we propose a new Spherical Log-Normal function which models density of 3D points around object surfaces mimicking noise introduced by 3D capturing devices. As a result, we obtain continuous mesh-based object representations that yield better qualitative results than competing approaches, while reducing training time by over an order of magnitude.

研究动机与目标

• 解决现有3D物体表示方法依赖离散体素或点云并产生量化损失的局限性。
• 克服基于CNF的模型（如PointFlow）在条件化于自编码器潜在空间时计算效率低下、内存占用高的问题。
• 实现对3D扫描设备噪声具有鲁棒性的连续、基于网格的3D物体表示。
• 开发一种直接从无序点云生成高质量3D网格的生成模型，无需分箱或优化约束。
• 在保持或提升重建质量的同时，相比SOTA方法显著减少训练时间和内存使用。

提出的方法

• HyperFlow 使用超网络生成CNF目标网络的权重，该网络将3D球体上的均匀分布映射为3D点云。
• 提出一种新型球面对数正态分布作为先验，用于建模物体表面附近的点云密度，从而为CNF提供所需的非紧致支集。
• 该球面对数正态先验被设计为模拟LIDAR和深度相机的配准噪声，其参数经推导以匹配3D各向同性高斯的半径分布。
• 通过一种三角剖分技巧生成网格：在不同半径的球面上采样点，并将这些点三角剖分以形成表面。
• CNF目标网络被训练以将先验分布变换为观测到的点云分布，从而实现对3D几何的连续、可逆生成。
• 通过学习分布表示而非直接的点对点映射，该模型避免了排列敏感性和输入尺寸可变性问题。

实验结果

研究问题

• RQ1 基于超网络的架构是否能在保持高质量网格输出的同时，显著减少3D生成模型的训练时间和内存占用？
• RQ2 具有非紧致支集的球面对数正态先验是否能实现从点云出发的稳定且精确的CNF-based 3D生成？
• RQ3 在不同半径的球面上应用三角剖分技巧，是否能从基于流的连续点云生成中产生高质量、去噪的3D网格？
• RQ4 在标准3D基准测试中，该方法与PointFlow和HyperCloud相比，在重建质量和效率方面表现如何？
• RQ5 与标准高斯先验相比，球面对数正态先延在3D物体生成中是否能更优地建模真实世界扫描噪声？

主要发现

• 与条件化于自编码器潜在变量的PointFlow相比，HyperFlow将训练时间与内存占用降低了超过一个数量级。
• 球面对数正态先验通过提供非紧致支集，使CNF得以有效使用；而标准高斯先验因支集紧凑，常导致表面建模不稳定或错误。
• 在不同半径的球面上通过三角剖分生成的网格，可获得高质量、去噪的表示，且相比基于高斯的模型更具稳定性。
• 该方法在3D网格重建方面实现了SOTA的定性结果，视觉保真度优于PointFlow与HyperCloud。
• 通过在三角剖分步骤中调整球面半径，模型成功重建了包含内部结构（如方向盘）的复杂3D形状（如汽车）。
• 球面对数正态分布经过数学推导，使其半径分布与3D各向同性高斯相匹配，从而确保对扫描噪声的最优建模。