[论文解读] 3DShape2VecSet: A 3D Shape Representation for Neural Fields and Generative Diffusion Models

Biao Zhang, Jiapeng Tang+2 more|arXiv (Cornell University)|Jan 26, 2023

Generative Adversarial Networks and Image Synthesis被引用 6

一句话总结

3DShape2VecSet 提出了一种基于潜在向量集合的可学习神经场表示方法，用于3D形状生成与重建。该方法结合径向基函数（RBF）与注意力机制，实现了高质量的3D形状生成与重建。在多种生成任务中，包括文本、图像和点云条件生成，以及从部分输入中进行形状补全与重建，均达到了当前最优性能。

ABSTRACT

We introduce 3DShape2VecSet, a novel shape representation for neural fields designed for generative diffusion models. Our shape representation can encode 3D shapes given as surface models or point clouds, and represents them as neural fields. The concept of neural fields has previously been combined with a global latent vector, a regular grid of latent vectors, or an irregular grid of latent vectors. Our new representation encodes neural fields on top of a set of vectors. We draw from multiple concepts, such as the radial basis function representation and the cross attention and self-attention function, to design a learnable representation that is especially suitable for processing with transformers. Our results show improved performance in 3D shape encoding and 3D shape generative modeling tasks. We demonstrate a wide variety of generative applications: unconditioned generation, category-conditioned generation, text-conditioned generation, point-cloud completion, and image-conditioned generation.

研究动机与目标

• 开发一种新型3D形状表示方法，以实现基于扩散模型的高保真生成建模。
• 解决在紧凑、可学习且可微分的潜在空间中表示3D形状的挑战，以适用于基于扩散模型的生成任务。
• 在多种条件（如文本、图像、部分点云）下，提升3D形状的重建与生成性能。
• 设计一种支持高保真重建与多样化、多模态生成的表示方法。

提出的方法

• 该方法将作为网格或点云输入的3D形状编码为由可学习潜在向量构成的神经场表示。
• 采用径向基函数（RBF）在潜在向量之间进行插值，实现对3D几何形状的连续且平滑的表示。
• 通过交叉注意力与自注意力机制，使基于Transformer的解码器在生成过程中能够关注相关的潜在向量。
• 采用两阶段训练流程：首先，变分自编码器（VAE）将输入形状压缩至潜在向量集合；其次，在学习到的潜在空间中训练扩散模型。
• 潜在向量集合替代了常规的网格或全局向量，降低了内存占用，同时保留了精细的几何细节。
• 通过在交叉注意力中引入文本、图像或部分点云作为条件，该架构支持多种条件生成任务。

实验结果

研究问题

• RQ1 可学习的、基于集合的潜在表示是否能在基于扩散模型的3D形状生成任务中超越全局向量或规则网格？
• RQ2 基于集合的神经场表示在从部分或不完整输入（如点云或单视角图像）中重建3D形状方面表现如何？
• RQ3 注意力机制设计在多模态条件（如文本、图像、类别、点云）下，对实现多样化且高保真生成的贡献程度如何？
• RQ4 所提出的表示方法是否在不同3D形状类别间具备泛化能力，并避免对训练分布的过拟合？

主要发现

• 在基于点云的3D形状重建任务中，该模型在定量指标与视觉质量方面均优于现有方法，达到当前最优性能。
• 在文本条件生成任务中，模型成功生成了多样化且语义一致的3D形状，如“最高的椅子”或“红色的车”，展现出强大的零样本泛化能力。
• 在图像条件生成任务中，该模型生成的表面细节（如细杆和小孔）比确定性基线方法（如OccNet和IM-Net）更准确。
• 该模型支持多模态生成，能够从单张图像生成多样化重建结果，这对于处理遮挡问题至关重要。
• 通过Chamfer距离检索进行的形状新颖性分析表明，生成的形状并非训练数据的简单记忆，而是结构新颖且逼真的。
• 尽管性能有所提升，但该方法需要两阶段训练流程，导致训练时间相比手工设计的特征（如小波）更长。