[论文解读] SP-GAN: Sphere-Guided 3D Shape Generation and Manipulation

Ruihui Li, Xianzhi Li+2 more|arXiv (Cornell University)|Aug 10, 2021

3D Shape Modeling and Analysis参考文献 48被引用 23

一句话总结

SP-GAN 提出了一种无监督的3D形状生成模型，该模型使用单位球面作为全局空间先验，并通过附着在每个球面点上的潜在码来学习局部细节。通过将全局形状建模与局部结构调节解耦，该方法实现了高质量、多样化的点云生成，并具备隐式的密集对应关系，支持无需部分标注的部件感知操作，如插值和编辑。

ABSTRACT

We present SP-GAN, a new unsupervised sphere-guided generative model for direct synthesis of 3D shapes in the form of point clouds. Compared with existing models, SP-GAN is able to synthesize diverse and high-quality shapes with fine details and promote controllability for part-aware shape generation and manipulation, yet trainable without any parts annotations. In SP-GAN, we incorporate a global prior (uniform points on a sphere) to spatially guide the generative process and attach a local prior (a random latent code) to each sphere point to provide local details. The key insight in our design is to disentangle the complex 3D shape generation task into a global shape modeling and a local structure adjustment, to ease the learning process and enhance the shape generation quality. Also, our model forms an implicit dense correspondence between the sphere points and points in every generated shape, enabling various forms of structure-aware shape manipulations such as part editing, part-wise shape interpolation, and multi-shape part composition, etc., beyond the existing generative models. Experimental results, which include both visual and quantitative evaluations, demonstrate that our model is able to synthesize diverse point clouds with fine details and less noise, as compared with the state-of-the-art models.

研究动机与目标

• 解决在无监督设置下生成多样化、逼真且具有精细细节和结构可控性的3D形状的挑战。
• 克服现有点云生成对抗网络在缺乏部件级对应关系以及在噪声和细节保真度方面表现不佳的局限性。
• 实现结构感知的形状操作，如部件级插值与编辑，且无需依赖部件标注。
• 将3D形状生成解耦为全局形状建模与局部结构调节，以提升训练稳定性和生成质量。

提出的方法

• 使用固定的单位球面作为全局空间先验，为形状生成提供各向同性的初始化。
• 为每个球面点附加一个随机潜在码，作为细粒度结构细节的局部先验。
• 通过将球面点及其关联的潜在码组合成先验潜在矩阵，作为生成器的输入。
• 设计生成器时引入风格嵌入与自适应实例归一化，将潜在码中的局部风格传递至点特征。
• 利用球面点与生成形状点之间的隐式密集对应关系，实现部件感知操作。
• 采用对抗损失与重建损失，在无监督设置下进行训练，以保持形状结构与细节。

实验结果

研究问题

• RQ1 基于球体的先验是否能够在无部件标注的情况下，实现高质量、多样化的无监督3D形状生成？
• RQ2 球面点与生成形状点之间的隐式密集对应关系，在支持部件感知操作方面有多高效？
• RQ3 将全局形状建模与局部结构调节解耦，在多大程度上提升了生成质量与细节保真度？
• RQ4 与当前最先进的无监督生成对抗网络相比，该模型是否能生成更少噪声且更精细的细节？
• RQ5 当训练数据有限时，该模型在复杂或细长结构上的泛化能力如何？

主要发现

• SP-GAN 生成的点云在多样性与逼真度方面显著优于当前最先进的无监督模型，且具有更精细的细节与更低的噪声。
• 在 ShapeNet-13 基准上，该模型的 Chamfer Distance 达到 8.24，优于先前方法，在形状重建质量方面表现更优。
• 通过隐式密集对应关系，成功实现了部件级插值与编辑，如图1所示。
• 形状检索结果表明，生成的形状在结构上与训练集形状相似，但具有独特的局部细节，表明记忆化程度较低。
• 即使在训练数据有限的情况下，该模型仍保持高性能，但复杂或细长结构仍可能显得模糊。
• 生成点云的后处理可能引入扭曲的边缘与孔洞，表明未来工作需改进表面重建质量。