[论文解读] GRASS: Generative Recursive Autoencoders for Shape Structures

Jun Li, Kai Xu+4 more|arXiv (Cornell University)|May 5, 2017

3D Shape Modeling and Analysis参考文献 63被引用 122

一句话总结

GRASS 引入了一种 Generative Recursive Autoencoder 形状结构，用于对形状部件的层次进行编码，并通过 GAN 合成新结构，随后对部件几何进行合成。

ABSTRACT

We introduce a novel neural network architecture for encoding and synthesis of 3D shapes, particularly their structures. Our key insight is that 3D shapes are effectively characterized by their hierarchical organization of parts, which reflects fundamental intra-shape relationships such as adjacency and symmetry. We develop a recursive neural net (RvNN) based autoencoder to map a flat, unlabeled, arbitrary part layout to a compact code. The code effectively captures hierarchical structures of man-made 3D objects of varying structural complexities despite being fixed-dimensional: an associated decoder maps a code back to a full hierarchy. The learned bidirectional mapping is further tuned using an adversarial setup to yield a generative model of plausible structures, from which novel structures can be sampled. Finally, our structure synthesis framework is augmented by a second trained module that produces fine-grained part geometry, conditioned on global and local structural context, leading to a full generative pipeline for 3D shapes. We demonstrate that without supervision, our network learns meaningful structural hierarchies adhering to perceptual grouping principles, produces compact codes which enable applications such as shape classification and partial matching, and supports shape synthesis and interpolation with significant variations in topology and geometry.

研究动机与目标

• 激励学习一个用于结构化3D形状的生成模型，以捕捉部件层次和对称性。
• 开发一个递归自编码器，对形状部件布局进行编码和解码，得到固定长度的根编码。
• 在自编码器上扩展一个 GAN，以学习形状结构的合理流形。
• 增加一个第二网络，将合成的结构框转换为详细的部件几何。
• 演示对有意义的分层结构的无监督发现，并实现合成与插值。

提出的方法

• 将3D形状表示为定向包围盒（OBBs）的对称性层次结构。
• 使用具有两种节点类型（邻接和对称）的递归自编码器，将层次结构编码/解码为固定长度的编码。
• 训练一个 NodeClsfr，在每一步选择适当的解码器（AdjDec、SymDec、BoxDec）。
• 在根编码上训练一个 GAN，以学习一个低维的合理结构流形，并从中采样以合成新的布局。
• 使用第二个网络将合成的框映射到条件上下文的体素化部件几何。
• 在随机生成的层次结构上进行自监督预训练，然后对解码器进行对抗性微调，以实现生成采样。

实验结果

研究问题

• RQ1 递归自编码器是否能够在未标注的3D形状部件中学习到有意义的分层结构和对称性？
• RQ2 通过 GAN 学习根编码上的流形是否可以实现形状结构的合理生成与插值？
• RQ3 能否将合成的结构框有效转换为详细的部件几何以形成完整的3D形状？
• RQ4 学到的结构是否对跨对象类别（如椅子）的拓扑和几何变化具有鲁棒性？

主要发现

• 该模型学习到与感知分组原则一致的有意义的分层结构。
• 根编码提供紧凑的表示，便于形状分类和部件匹配。
• 在根编码上的 GAN 产生的模型提供可生成的结构采样并支持插值。
• 一个独立模块能有效地将合成结构映射到详细的部件几何实现完整形状合成。
• 该方法在无监督设置下展示了合成具有显著拓扑和几何变化的形状的能力。