[论文解读] GRAINS: Generative Recursive Autoencoders for INdoor Scenes

Manyi Li, Akshay Gadi Patil+8 more|arXiv (Cornell University)|Jul 24, 2018

3D Shape Modeling and Analysis参考文献 36被引用 50

一句话总结

GRAINS 是一种生成式递归自编码器 (RvNN-VAE)，它学习分层的室内场景结构，并通过将随机高斯编码解码为带标签的 OBBs 的场景层级来快速生成看似合理的室内 3D 场景，然后检索 3D 对象。

ABSTRACT

We present a generative neural network which enables us to generate plausible 3D indoor scenes in large quantities and varieties, easily and highly efficiently. Our key observation is that indoor scene structures are inherently hierarchical. Hence, our network is not convolutional; it is a recursive neural network or RvNN. Using a dataset of annotated scene hierarchies, we train a variational recursive autoencoder, or RvNN-VAE, which performs scene object grouping during its encoding phase and scene generation during decoding. Specifically, a set of encoders are recursively applied to group 3D objects based on support, surround, and co-occurrence relations in a scene, encoding information about object spatial properties, semantics, and their relative positioning with respect to other objects in the hierarchy. By training a variational autoencoder (VAE), the resulting fixed-length codes roughly follow a Gaussian distribution. A novel 3D scene can be generated hierarchically by the decoder from a randomly sampled code from the learned distribution. We coin our method GRAINS, for Generative Recursive Autoencoders for INdoor Scenes. We demonstrate the capability of GRAINS to generate plausible and diverse 3D indoor scenes and compare with existing methods for 3D scene synthesis. We show applications of GRAINS including 3D scene modeling from 2D layouts, scene editing, and semantic scene segmentation via PointNet whose performance is boosted by the large quantity and variety of 3D scenes generated by our method.

研究动机与目标

• 说明为 VR/AR、机器人与场景理解等需要可扩展、真实感强的室内场景生成的必要性。
• 提出一个面向室内场景的分层、结构感知的生成模型（RvNN-VAE）。
• 通过分层 OBB 表示对对象语义和空间关系进行编码，以实现多样的场景合成。
• 使下游任务如基于布局的 3D 场景建模、编辑和语义分割改进等成为可能。

提出的方法

• 将室内场景表示为带标签的定向边界框（OBBs），并组织成一个层次结构。
• 训练一个变分递归自编码器（RvNN-VAE），为不同关系（BoxEnc、SuppEnc、Co-ocEnc、SurrEnc、WallEnc、RootEnc）设置多个编码器/解码器对。
• 在内部节点的每个向量中用一个 28 维向量编码相对二维定位和对象语义信息，包括旋转、偏移、附着和对齐。
• 从高斯分布采样的根码解码为场景层次结构，然后用数据库中的 3D 对象替换 OBBs。
• 在生成过程中使用一个节点分类器以在每次递归时选择合适的解码器。
• 通过感知研究和与现有 3D 场景合成方法的比较来进行地面真实感学习。

实验结果

研究问题

• RQ1 一个分层、结构感知的生成模型是否能够在规模化下生成真实且多样化的 3D 室内场景？
• RQ2 相对定位和语义共现编码如何影响场景的可信度和多样性？
• RQ3 在质量和多样性方面，GRAINS 与现有的 3D 场景合成方法相比如何？
• RQ4 哪些实际应用（从 2D 布局生成、编辑、分割）能够从大量多样的合成场景数据中受益？

主要发现

• GRAINS 能在每个场景不到一秒的时间内生成大量看似真实且多样化的室内 3D 场景。
• 通过感知研究和与现有基线方法的比较验证了可行性。
• 实验验证了语义标签和相对定位在提高生成质量方面的有效性。
• 生成的场景提升了下游任务的性能，如通过 PointNet 的语义分割，并实现从 2D 布局生成 3D 场景建模。
• 分层编码和三种关系类型（支持、包围、共现）是提高可学习性和真实感的关键设计选择。