[论文解读] Learning Part Generation and Assembly for Structure-aware Shape Synthesis

Jun Li, Chengjie Niu+1 more|arXiv (Cornell University)|Jun 16, 2019

3D Shape Modeling and Analysis参考文献 50被引用 12

一句话总结

该论文提出 PAGENet，一种部件感知的深度生成模型，通过变分自编码器-生成对抗网络（VAE-GAN）和可微分部件组装器，将3D形状合成分解为语义部件生成与结构感知组装。通过分别建模部件组成与空间位置，PAGENet 能够生成多样化、高质量的3D形状，且结构合理，支持基于部件的编辑与语义分割，在当前最先进性能下表现优异。

ABSTRACT

Learning powerful deep generative models for 3D shape synthesis is largely hindered by the difficulty in ensuring plausibility encompassing correct topology and reasonable geometry. Indeed, learning the distribution of plausible 3D shapes seems a daunting task for the holistic approaches, given the significant topological variations of 3D objects even within the same category. Enlightened by the fact that 3D shape structure is characterized as part composition and placement, we propose to model 3D shape variations with a part-aware deep generative network, coined as PAGENet. The network is composed of an array of per-part VAE-GANs, generating semantic parts composing a complete shape, followed by a part assembly module that estimates a transformation for each part to correlate and assemble them into a plausible structure. Through delegating the learning of part composition and part placement into separate networks, the difficulty of modeling structural variations of 3D shapes is greatly reduced. We demonstrate through both qualitative and quantitative evaluations that PAGENet generates 3D shapes with plausible, diverse and detailed structure, and show two applications, i.e., semantic shape segmentation and part-based shape editing.

研究动机与目标

• 为解决生成具有复杂拓扑结构与详细部件的结构合理3D形状的挑战。
• 克服整体生成模型在保留部件级语义与空间关系方面的局限性。
• 通过解耦且结构化的潜在空间，实现基于部件的形状编辑与语义形状分割。
• 通过将部件生成与部件组装分离的分而治之方法，建模3D形状的变化。
• 学习一种既具备结构感知能力，又能保持几何与拓扑合理性的生成模型。

提出的方法

• PAGENet 使用每个部件独立的 VAE-GAN 阵列，以解耦方式生成特定3D形状类别中的语义部件。
• 每个部件生成器学习特定语义部件的潜在表示，从而实现对单个组件的控制。
• 部件组装模块估计每个部件的变换参数（平移与旋转），以将部件组装成一致且结构有效的形状。
• 模型通过连接所有部件生成器的潜在向量形成结构化潜在空间，支持交叉与突变等操作。
• 整个框架在体素设置下进行训练，通过对抗损失与重建损失实现端到端优化。
• 模型支持潜在空间操作以及对锚定部件的直接用户编辑，随后利用学习到的变换先验重新组装。

实验结果

研究问题

• RQ1 深度生成模型能否有效将3D形状合成分解为部件生成与部件组装，以提升结构合理性？
• RQ2 解耦且部件感知的潜在空间能否实现多样化、高细节的3D形状生成，同时保持结构一致性？
• RQ3 该模型能否在保持几何与拓扑正确性的前提下，支持有意义的基于部件的形状编辑？
• RQ4 结构化潜在空间能否通过流形重建与标签迁移，促进语义形状分割？
• RQ5 所提出方法在形状生成、编辑与分割方面与当前最先进方法相比表现如何？

主要发现

• PAGENet 生成的3D形状具有高度的结构合理性、精细的几何细节与多样的部件组合，经定性与定量评估验证。
• 在 Chair 类别上，PAGENet 在语义形状分割中达到 92.0% 的平均交并比（mIoU），优于 PointNet 与 SyncSpecCNN。
• 在 Lamp 类别上，PAGENet 达到 85.2% mIoU，超越所有对比方法，包括 O-CNN 与 PointNet。
• 通过潜在空间操作成功实现3D形状交叉，证明了结构化潜在空间在保持形状结构方面的有效性。
• 交互式基于部件的编辑可行：用户对锚定部件的编辑可通过组装器传播，生成结构合理的形变形状。
• 形状分割流程表现优异：模型能从学习到的部件感知形状流形中检索最近邻，实现准确的标签迁移。