[论文解读] PQ-NET: A Generative Part Seq2Seq Network for 3D Shapes

Rundi Wu, Yixin Zhuang+3 more|arXiv (Cornell University)|Nov 25, 2019

3D Shape Modeling and Analysis参考文献 56被引用 6

一句话总结

PQ-NET 是一种深度生成模型，通过使用部件感知的 Seq2Seq 自编码器进行部件的顺序组装来表示和合成 3D 形状。它将部件特征编码为固定大小的潜在向量，并分部件逐步重建形状，从而实现新颖形状生成、单视角 3D 重建和形状补全等任务，具有结构化且有意义的部件，其在基于部件的生成方面优于先前方法，同时保持了具有竞争力的重建质量。

ABSTRACT

We introduce PQ-NET, a deep neural network which represents and generates 3D shapes via sequential part assembly. The input to our network is a 3D shape segmented into parts, where each part is first encoded into a feature representation using a part autoencoder. The core component of PQ-NET is a sequence-to-sequence or Seq2Seq autoencoder which encodes a sequence of part features into a latent vector of fixed size, and the decoder reconstructs the 3D shape, one part at a time, resulting in a sequential assembly. The latent space formed by the Seq2Seq encoder encodes both part structure and fine part geometry. The decoder can be adapted to perform several generative tasks including shape autoencoding, interpolation, novel shape generation, and single-view 3D reconstruction, where the generated shapes are all composed of meaningful parts.

研究动机与目标

• 开发一种深度生成模型以捕捉 3D 形状的部件几何与结构组成，通过顺序组装实现。
• 通过统一架构支持多样化的生成任务，如形状自编码、插值、新颖形状生成和单视角 3D 重建。
• 学习一个解耦但结构化的潜在空间，以同时编码部件身份和空间排列。
• 通过利用表示的顺序特性，支持形状补全和部件顺序去噪等应用。
• 证明顺序部件建模在生成建模中相比整体或分层方法能产生更好的结构一致性。

提出的方法

• 网络使用部件自编码器将单个形状部件编码为特征表示，通过调整 IM-NET 来建模部件级别的隐式场。
• 双向堆叠 RNN 编码器以正向和反向顺序处理部件特征序列，生成固定大小的潜在向量。
• 堆叠 RNN 解码器通过基于潜在码逐个生成部件，按顺序重建 3D 形状。
• 整个架构，命名为 PQ-NET，在 PartNet 数据集上端到端训练，部件序列源自数据集中预定义的线性排序。
• 通过将解码器条件化于输入视图或部分部件序列，对下游任务（如单视角重建和形状补全）进行微调。
• 通过破坏输入序列并训练网络恢复原始一致的顺序，实现部件顺序去噪，从而支持部件对应学习。

实验结果

研究问题

• RQ1 序列到序列网络能否通过将部件组装视为类似自然语言的序列，有效建模 3D 形状生成？
• RQ2 学习部件的序列表示是否相比整体生成模型能更好地实现形状结构与几何的解耦？
• RQ3 所学习的潜在空间能否支持包括新颖形状生成、插值和单视角重建在内的多样化生成任务？
• RQ4 该模型在多大程度上通过顺序去噪保持结构一致性并实现部件对应？
• RQ5 部件顺序的选择在多大程度上影响所学习生成模型的质量与泛化能力？

主要发现

• 尽管潜在空间更加纠缠，PQ-NET 仍实现了与 SOTA 隐式模型（如 IM-NET）相当的 3D 重建质量。
• 该模型成功地从 RGB 和深度图像中实现单视角 3D 重建，生成结构一致且基于部件的形状。
• 通过在部分部件序列上进行训练，形状补全被有效实现，网络能够以一致的顺序重建缺失部件。
• 部件顺序去噪使网络能够学习到一致的、类别级别的部件排序，从而促进下游部件对应推理。
• 该模型生成具有结构一致性的形状，具备有意义的部件组合，其在联合几何与结构建模方面优于 3D-PRNN。
• 定量评估显示，PQ-NET 在基于部件的生成方面与 StructureNet 和 3D-PRNN 表现相当，但由于潜在空间纠缠，其在原始重建指标上未超越 IM-NET。