[论文解读] StructureNet: Hierarchical Graph Networks for 3D Shape Generation

Kaichun Mo, Paul Guerrero+5 more|arXiv (Cornell University)|Aug 1, 2019

3D Shape Modeling and Analysis参考文献 81被引用 60

一句话总结

StructureNet 引入一种分层图网络，用于对具有水平关系的 n 叉形状部件层次结构进行编码，从而实现对 3D 形状的生成、插值和结构感知处理。

ABSTRACT

The ability to generate novel, diverse, and realistic 3D shapes along with associated part semantics and structure is central to many applications requiring high-quality 3D assets or large volumes of realistic training data. A key challenge towards this goal is how to accommodate diverse shape variations, including both continuous deformations of parts as well as structural or discrete alterations which add to, remove from, or modify the shape constituents and compositional structure. Such object structure can typically be organized into a hierarchy of constituent object parts and relationships, represented as a hierarchy of n-ary graphs. We introduce StructureNet, a hierarchical graph network which (i) can directly encode shapes represented as such n-ary graphs; (ii) can be robustly trained on large and complex shape families; and (iii) can be used to generate a great diversity of realistic structured shape geometries. Technically, we accomplish this by drawing inspiration from recent advances in graph neural networks to propose an order-invariant encoding of n-ary graphs, considering jointly both part geometry and inter-part relations during network training. We extensively evaluate the quality of the learned latent spaces for various shape families and show significant advantages over baseline and competing methods. The learned latent spaces enable several structure-aware geometry processing applications, including shape generation and interpolation, shape editing, or shape structure discovery directly from un-annotated images, point clouds, or partial scans.

研究动机与目标

• 激发学习一个连续潜在空间，捕捉跨越多样形状族的几何与结构变异。
• 将形状表示为图的层次结构（具有同级关系的 n 叉树），以保持跨对象的结构一致性。
• 实现从部分或未标注输入中对结构化 3D 形状进行生成、插值和结构感知编辑。

提出的方法

• 提出 StructureNet，一种变分自编码器，具有两个编码器（几何和图）和两个解码器（图和几何），在一个 n 叉层次图表示上运行。
• 通过几何编码器（边界框或点云）对叶子部件进行编码，并通过受 GIN/Dynamic Graph CNNs 启发的递归图卷积进行传播。
• 通过在编码阶段使用对称函数以及在解码阶段采用基于线性分配的匹配来实现顺序不变性。
• 将同级之间的水平关系建模为边（例如邻接和各种对称性），以丰富结构感知生成。
• 对子图进行解码，设定一个固定的最大可能子节点和边的数量，使用带跳连和迭代消息传递的两阶段解码过程。
• 使用综合损失训练：重构损失、结构一致性损失，以及变分正则化（beta-VAE 风格），以确保潜在空间的连续性。

实验结果

研究问题

• RQ1 一个潜在空间是否能够同时捕捉跨越多样形状族的几何变化和分层结构？
• RQ2 在不进行二值化的情况下，模型对具有水平关系的 n 叉层次结构的编码和解码的有效性如何？
• RQ3 结构感知的潜在空间是否能够实现准确的形状生成、插值、编辑，以及从未标注输入中发现结构？
• RQ4 在 chair/PartNet 数据集上的学习、生成和结构感知任务中，StructureNet 相对于基线方法的表现如何？

主要发现

• 该模型实现了具有几何和结构变异的结构化 3D 形状的生成与插值。
• StructureNet 支持将未标注的输入（图像、点云）投影到潜在空间，产生语义分段的分层形状。
• 具有顺序不变编码和线性分配匹配的编码器/解码器设计，在大规模形状族上实现稳健学习。
• 由图边建模的水平同级关系提升了解码连贯性，并使结构感知的操作成为可能，如编辑和部件级变更。
• 实证评估显示 StructureNet 相对于基线和竞争方法在学习结构化形状分布方面具有显著优势。