[論文レビュー] GRAINS: Generative Recursive Autoencoders for INdoor Scenes

Manyi Li, Akshay Gadi Patil+8 more|arXiv (Cornell University)|Jul 24, 2018

3D Shape Modeling and Analysis参考文献 36被引用数 50

ひとこと要約

GRAINSは、生成的再帰的オートエンコーダ（RvNN-VAE）で、階層的な屋内シーン構造を学習し、ランダムなガウスコードをラベル付きOBBのシーン階層へデコードしてから3Dオブジェクトを取得し、説得力のある3D屋内シーンを急速に生成します。

ABSTRACT

We present a generative neural network which enables us to generate plausible 3D indoor scenes in large quantities and varieties, easily and highly efficiently. Our key observation is that indoor scene structures are inherently hierarchical. Hence, our network is not convolutional; it is a recursive neural network or RvNN. Using a dataset of annotated scene hierarchies, we train a variational recursive autoencoder, or RvNN-VAE, which performs scene object grouping during its encoding phase and scene generation during decoding. Specifically, a set of encoders are recursively applied to group 3D objects based on support, surround, and co-occurrence relations in a scene, encoding information about object spatial properties, semantics, and their relative positioning with respect to other objects in the hierarchy. By training a variational autoencoder (VAE), the resulting fixed-length codes roughly follow a Gaussian distribution. A novel 3D scene can be generated hierarchically by the decoder from a randomly sampled code from the learned distribution. We coin our method GRAINS, for Generative Recursive Autoencoders for INdoor Scenes. We demonstrate the capability of GRAINS to generate plausible and diverse 3D indoor scenes and compare with existing methods for 3D scene synthesis. We show applications of GRAINS including 3D scene modeling from 2D layouts, scene editing, and semantic scene segmentation via PointNet whose performance is boosted by the large quantity and variety of 3D scenes generated by our method.

研究の動機と目的

• VR/AR、ロボティクス、シーン理解のためのスケーラブルで現実的な3D屋内シーン生成の必要性を動機づける。
• 屋内シーンに特化した階層的で構造認識を持つ生成モデル（RvNN-VAE）を提案する。
• 階層的OBB表現を通じてオブジェクト意味論と空間関係を符号化し、多様なシーン合成を可能にする。
• レイアウトからの3Dシーンモデリング、編集、意味セグメンテーションの向上といった下流タスクを可能にする。

提案手法

• 屋内シーンをラベル付き指向境界箱（OBB）として階層構造に整理して表現する。
• 異なる関係（BoxEnc, SuppEnc, Co-ocEnc, SurrEnc, WallEnc, RootEnc）のための複数のエンコーダ/デコーダペアを用いて変分再帰的オートエンコーダ（RvNN-VAE）を訓練する。
• 各内部ノードにおいて回転、オフセット、結合、整列などを含む28次元ベクトルで相対的な2D位置付けとオブジェクト意味論を符号化する。
• ガウス分布からサンプルされたルートコードからシーン階層へデコードし、次にOBBをデータベースの3Dオブジェクトに置換する。
• 生成時の再帰ごとに適切なデコーダを選択するNode Classifierを使用する。
• 知覚研究と既存の3Dシーン合成手法との比較で学習をグラウンドする。

実験結果

リサーチクエスチョン

• RQ1 階層的で構造認識を持つ生成モデルは、スケールに対して現実的で多様な3D屋内シーンを生成できるか？
• RQ2 相対的位置付けと意味的共起の符号化は、シーンの信頼性と多様性にどのように影響するか？
• RQ3 GRAINSは品質と多様性の点で、既存の3Dシーン合成手法と比較してどうか？
• RQ4 大規模で多様な合成シーンデータの恩恵を受ける実用的なアプリケーション（2Dからのレイアウト、編集、セグメンテーションなど）は何か？

主な発見

• GRAINSは、シーンごとにごくわずかの秒未満で、多数の現実味のある多様な3D屋内シーンを生成できる。
• 妥当性は知覚研究および既存のベースライン手法との比較評価で検証された。
• 意味ラベルと相対位置付けの有効性を生成品質向上において実証。
• 生成されたシーンはPointNetによる意味セグメンテーションの下流タスクの性能を向上させ、2Dレイアウトからの3Dシーンモデリングを可能にする。
• 階層エンコードと3つの関係タイプ（サポート、周囲、共起）は学習性と現実味を高める設計要素。