[论文解读] Deep Generative Models on 3D Representations: A Survey

Zifan Shi, Sida Peng+4 more|arXiv (Cornell University)|Oct 27, 2022

Generative Adversarial Networks and Image Synthesis被引用 14

一句话总结

本综述全面概述了用于3D数据的深度生成模型，分析了不同3D表示形式（如点云、网格、体素和神经场）与生成模型（如VAEs、GANs和扩散模型）之间的相互作用。它评估了2D与3D监督范式，突出展示了在形状编辑、重建和表征学习等关键应用中的表现，并指出了未来研究在通用性、可控性、效率和训练稳定性方面面临的关键挑战。

ABSTRACT

Generative models aim to learn the distribution of observed data by generating new instances. With the advent of neural networks, deep generative models, including variational autoencoders (VAEs), generative adversarial networks (GANs), and diffusion models (DMs), have progressed remarkably in synthesizing 2D images. Recently, researchers started to shift focus from 2D to 3D space, considering that 3D data is more closely aligned with our physical world and holds immense practical potential. However, unlike 2D images, which possess an inherent and efficient representation ( extit{i.e.}, a pixel grid), representing 3D data poses significantly greater challenges. Ideally, a robust 3D representation should be capable of accurately modeling complex shapes and appearances while being highly efficient in handling high-resolution data with high processing speeds and low memory requirements. Regrettably, existing 3D representations, such as point clouds, meshes, and neural fields, often fail to satisfy all of these requirements simultaneously. In this survey, we thoroughly review the ongoing developments of 3D generative models, including methods that employ 2D and 3D supervision. Our analysis centers on generative models, with a particular focus on the representations utilized in this context. We believe our survey will help the community to track the field's evolution and to spark innovative ideas to propel progress towards solving this challenging task.

研究动机与目标

• 提供对应用于3D数据的深度生成模型的系统性综述，以弥补该新兴领域中缺乏全面综述的现状。
• 分析在生成模型中使用不同3D表示形式（点云、网格、体素、神经场）时所涉及的权衡与局限性。
• 评估在2D监督（通过可微渲染）和3D监督下，3D生成模型的性能与设计选择。
• 识别3D生成中的关键挑战，如通用性、可控性、推理效率和训练稳定性。
• 通过整合当前进展并提出有前景的未来研究方向，为研究人员和实践者提供指导。

提出的方法

• 本综述通过基于底层生成架构（如VAEs、GANs、扩散模型）和所用3D表示形式（如点云、体素网格、神经场）对3D生成模型进行分类，开展结构化分析。
• 评估了基于可微渲染的2D监督与3D监督方法的有效性，比较其在形状生成与重建中的表现。
• 研究了自编码解码框架和模型反演技术，用于从部分观测或单视角图像中进行3D重建。
• 讨论了使用3D感知图像生成模型，通过2D监督实现逆问题（如类别级物体位姿估计）的可行性。
• 评估了生成模型在下游任务（如点云和体素网格上的分类与语义分割）中表征学习的能力。
• 综合分析多个基准和数据集（如ShapeNet、FFHQ）的成果，以评估模型在不同类别间的泛化能力与性能表现。

实验结果

研究问题

• RQ1 不同的3D表示形式（点云、网格、体素、神经场）如何影响深度生成模型的性能与训练动态？
• RQ2 通过可微渲染实现的2D监督与3D监督在3D生成建模中各自的优势与局限性是什么？
• RQ3 3D生成模型在多大程度上能够实现可控生成，例如通过文本、草图或物理属性控制？
• RQ4 当前3D生成模型在训练稳定性、推理效率和可扩展性方面的主要瓶颈是什么？
• RQ5 如何扩展3D生成模型以支持跨多样化物体类别和动态场景的通用生成？

主要发现

• 基于神经场和隐式表示的3D生成模型在高保真度形状生成方面展现出强大潜力，但面临训练效率和内存使用方面的挑战。
• 通过可微渲染实现的2D监督方法能够实现单视角3D重建与位姿估计，符合分析-合成范式。
• 利用自编码解码框架的模型反演技术可通过潜在码优化，实现从部分观测中重建完整3D形状。
• 尽管已有进展，大多数3D生成模型仍局限于ShapeNet和FFHQ等物体级数据集，缺乏在多样化类别间的通用性。
• 训练3D生成模型通常需要在多张高端GPU上运行3至10天，凸显了训练与推理阶段的显著低效。
• 模式崩溃以及物理因素（如相机位姿）分布与真实图像分布之间的错位，仍是影响训练稳定性的关键挑战。