[论文解读] Generative VoxelNet: Learning Energy-Based Models for 3D Shape Synthesis and Analysis

Jianwen Xie, Zilong Zheng+4 more|arXiv (Cornell University)|Dec 25, 2020

3D Shape Modeling and Analysis被引用 6

一句话总结

本文提出 Generative VoxelNet，一种基于深度能量模型的 3D 形状合成与分析方法，利用体素网格表示。该方法采用基于 Langevin 动力学和 MCMC 采样的 '生成式分析' 训练策略，无需辅助模型即可实现高质量 3D 形状生成、物体恢复、超分辨率和特征学习，通过多网格采样策略在 128³ 分辨率下实现了 SOTA 的 FID 分数（马桶类为 10.85，沙发类为 7.86）。

ABSTRACT

3D data that contains rich geometry information of objects and scenes is valuable for understanding 3D physical world. With the recent emergence of large-scale 3D datasets, it becomes increasingly crucial to have a powerful 3D generative model for 3D shape synthesis and analysis. This paper proposes a deep 3D energy-based model to represent volumetric shapes. The maximum likelihood training of the model follows an "analysis by synthesis" scheme. The benefits of the proposed model are six-fold: first, unlike GANs and VAEs, the model training does not rely on any auxiliary models; second, the model can synthesize realistic 3D shapes by Markov chain Monte Carlo (MCMC); third, the conditional model can be applied to 3D object recovery and super resolution; fourth, the model can serve as a building block in a multi-grid modeling and sampling framework for high resolution 3D shape synthesis; fifth, the model can be used to train a 3D generator via MCMC teaching; sixth, the unsupervisedly trained model provides a powerful feature extractor for 3D data, which is useful for 3D object classification. Experiments demonstrate that the proposed model can generate high-quality 3D shape patterns and can be useful for a wide variety of 3D shape analysis.

研究动机与目标

• 开发一种无需依赖 GAN 或 VAE 等辅助网络的深度 3D 生成模型，用于体素形状合成。
• 通过多网格采样策略实现高分辨率 3D 形状生成，以提升稳定性和效率。
• 提供一个统一的 3D 形状分析框架，涵盖物体恢复、超分辨率和无监督特征学习。
• 通过 MCMC 教学训练 3D 生成器，利用基于能量的模型作为教师网络，以提升生成性能。

提出的方法

• 构建一个由 VoxelNet 参数化的深度基于能量的模型，用于通过体素网格表示 3D 体积分形。
• 采用 '分析式生成' 的训练方案，模型通过 MCMC 采样最小化重建误差，学习生成逼真形状。
• 利用 Langevin 动力学与迭代采样生成 3D 形状，从随机噪声开始，逐步优化为与数据一致的结构。
• 实现多网格采样框架：先生成粗粒度形状（如 16³），再通过条件采样逐步细化至更高分辨率（如 128³）。
• 应用 MCMC 教学方法，利用基于能量的模型作为教师网络，指导独立 3D 生成器网络的学习，以生成更逼真的形状模式。
• 将训练好的基于能量的模型用作 3D 分类任务的特征提取器，利用其学习到的表征。

实验结果

研究问题

• RQ1 通过分析式生成训练的深度基于能量模型是否能在不依赖辅助判别器或生成器的情况下生成高质量 3D 形状？
• RQ2 多网格采样策略在高分辨率下如何提升基于 MCMC 的 3D 形状生成的稳定性和效率？
• RQ3 该无监督基于能量的模型在多大程度上可作为强大的 3D 分类任务特征提取器？
• RQ4 基于能量的模型是否能通过 MCMC 教学有效指导 3D 生成器，以生成真实且有意义的 3D 形状？
• RQ5 该模型在下游 3D 形状分析任务（如物体恢复与超分辨率）中的表现如何？

主要发现

• 多网格采样策略显著降低了 Fréchet Inception Distance (FID) 分数——马桶类为 10.85，沙发类为 7.86，相比单网格基线（分别为 18.48 和 15.55），表明合成质量更优。
• 尽管每轮训练耗时更长，多网格模型收敛所需轮次显著更少（马桶类 280 轮，沙发类 70 轮），远低于单网格模型（分别为 1240 和 680 轮），证明计算效率更高。
• 模型成功生成了具有连贯性和真实感的 128³ 体素形状，定性结果（图 8 和图 9）已验证其视觉质量。
• 无监督基于能量的模型提供了强大的 3D 特征表征，可在无需微调有标签数据的情况下实现有效的 3D 物体分类。
• MCMC 教学框架成功训练出一个 3D 生成器，可生成有意义的 3D 形状模式，展示了基于能量模型与生成器之间协同学习的潜力。
• 模型在 3D 形状恢复与超分辨率任务中表现优异，证实其在生成之外的广泛 3D 分析任务中的实用性。