[论文解读] PT2PC: Learning to Generate 3D Point Cloud Shapes from Part Tree Conditions

Kaichun Mo, He Wang+2 more|arXiv (Cornell University)|Mar 19, 2020

3D Shape Modeling and Analysis参考文献 100被引用 7

一句话总结

PT2PC 提出了一种条件生成对抗网络（conditional GAN），通过在零件层次结构中进行自顶向下与自底向上的信息传递，将结构因素与几何因素解耦，从而根据符号化的零件树条件生成多样化且逼真的三维点云形状。该方法在形状质量、零件结构保真度和多样性方面均表现出优越性能，得到了定量指标和人工评估的验证。

ABSTRACT

3D generative shape modeling is a fundamental research area in computer vision and interactive computer graphics, with many real-world applications. This paper investigates the novel problem of generating 3D shape point cloud geometry from a symbolic part tree representation. In order to learn such a conditional shape generation procedure in an end-to-end fashion, we propose a conditional GAN "part tree"-to-"point cloud" model (PT2PC) that disentangles the structural and geometric factors. The proposed model incorporates the part tree condition into the architecture design by passing messages top-down and bottom-up along the part tree hierarchy. Experimental results and user study demonstrate the strengths of our method in generating perceptually plausible and diverse 3D point clouds, given the part tree condition. We also propose a novel structural measure for evaluating if the generated shape point clouds satisfy the part tree conditions.

研究动机与目标

• 为解决使用符号化零件树描述生成具有精确结构与几何控制的三维点云的挑战。
• 实现端到端的条件形状生成学习，其中零件树定义了结构布局。
• 对形状结构与几何因素进行解耦，以实现更可控且多样的三维生成。
• 提出一种新型结构评估指标，以验证生成形状是否满足输入的零件树条件。

提出的方法

• 生成器首先对零件树进行自底向上的编码，以捕捉语义与结构特征，随后将嵌入噪声的几何信息从根节点自顶向下传播至每个零件节点。
• 在每个叶节点处，基于其特定零件的特征与几何信息解码点云，最终输出通过聚合这些局部点云生成。
• 判别器在叶节点级别计算每部分的特征，并沿树结构自底向上传播，以评估形状的真实感与结构合规性。
• 采用双判别器架构，包含整体判别器（$D^{\texttt{whole}}$）与部件级判别器（$D^{\texttt{part}}$），联合强制实现形状真实感与结构一致性。
• 模型在潜在空间中引入随机噪声 $\mathbf{z}$，在条件相同零件树时保持结构不变，同时实现几何变化。
• 提出一种新型层次化实例分割方法 HierInsSeg，通过在无真实标签的情况下将生成点云分割为符号化零件树，以评估结构保真度。

实验结果

研究问题

• RQ1 条件生成对抗网络能否基于符号化零件树表示生成多样化且逼真的三维点云？
• RQ2 该模型在实现可控生成方面，对形状结构与几何变化的解耦能力有多强？
• RQ3 生成的形状在多大程度上保持了输入零件树中定义的结构关系？
• RQ4 与基线 GAN 模型相比，该方法在形状质量、部件结构准确率和多样性方面表现如何？
• RQ5 该模型能否泛化到未见过的零件树模板，并保持结构保真度？

主要发现

• 所提出的 PT2PC 模型在定量指标与人工评估中均显著优于两种基线条件 GAN，在所有条件下用户研究中的平均排名达到最优（整体为 1.33）。
• 在椅子类别上，PT2PC 在未见过的测试模板上实现了结构相似性平均用户排名 1.24 与整体质量平均排名 1.40，表明其具备出色的泛化能力与感知质量。
• 模型展现出清晰的解耦能力：仅改变噪声 $\mathbf{z}$ 时产生几何变化，而保持相同零件树；固定 $\mathbf{z}$ 但改变零件树时则产生结构变化，且几何保持一致。
• 所提出的 HierInsSeg 评估指标成功验证了结构合规性，显示 PT2PC 生成的形状能正确维持部件层次结构与分割，而基线方法则不能。
• 消融研究证实，若移除整体判别器 $D^{\texttt{whole}}$，性能显著下降，凸显其在保持全局形状真实感方面的重要性。
• 即使在训练中每种零件树仅有一个真实形状，模型仍能通过相似零件树结构之间的知识迁移，生成多样化且合理的变体。