[論文レビュー] GRASS: Generative Recursive Autoencoders for Shape Structures

Jun Li, Kai Xu+4 more|arXiv (Cornell University)|May 5, 2017

3D Shape Modeling and Analysis参考文献 63被引用数 122

ひとこと要約

GRASS は、形状構造の階層をエンコードし、GAN を介して新しい構造を合成し、部品ごとにジオメトリを合成する Generative Recursive Autoencoder を導入する。

ABSTRACT

We introduce a novel neural network architecture for encoding and synthesis of 3D shapes, particularly their structures. Our key insight is that 3D shapes are effectively characterized by their hierarchical organization of parts, which reflects fundamental intra-shape relationships such as adjacency and symmetry. We develop a recursive neural net (RvNN) based autoencoder to map a flat, unlabeled, arbitrary part layout to a compact code. The code effectively captures hierarchical structures of man-made 3D objects of varying structural complexities despite being fixed-dimensional: an associated decoder maps a code back to a full hierarchy. The learned bidirectional mapping is further tuned using an adversarial setup to yield a generative model of plausible structures, from which novel structures can be sampled. Finally, our structure synthesis framework is augmented by a second trained module that produces fine-grained part geometry, conditioned on global and local structural context, leading to a full generative pipeline for 3D shapes. We demonstrate that without supervision, our network learns meaningful structural hierarchies adhering to perceptual grouping principles, produces compact codes which enable applications such as shape classification and partial matching, and supports shape synthesis and interpolation with significant variations in topology and geometry.

研究の動機と目的

• 部品の階層と対称性を捉える構造化された3D形状の生成モデルの学習を動機づける。
• 形状部品のレイアウトを固定長のルートコードにエンコード・デコードする再帰的オートエンコーダを開発する。
• 形状構造のもっともらしい多様体を学習するために、オートエンコーダをGANで拡張する。
• 合成された構造ボックスを詳細な部位ジオメトリへ変換する2つ目のネットワークを追加する。
• 意味のある階層構造の教師なし発見を実証し、合成と補間を可能にする。

提案手法

• 3D形状を向き設定されたバウンディングボックス(OBB)の対称階層として表現する。
• 2種類のノードタイプ（隣接と対称）を持つ再帰的オートエンコーダを用い、階層を固定長コードへエンコード/デコードする。
• 各ステップで適切なデコーダ（AdjDec、SymDec、BoxDec）を選択する NodeClsfr を訓練する。
• ルートコード上でGANを訓練し、もっともらしい構造の低次元多様体を学習してそこからサンプルし、新しいレイアウトを合成する。
• 文脈に条件付けられた状態で、合成されたボックスをボクセルベースの部品ジオメトリへ写像する2つ目のネットワークを用いる。
• 乱调用を含む階層でオートエンコーダを教師なしで事前訓練し、次に生成的サンプリングのためにデコーダを敵対的に調整する。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしの3D形状部品において、再帰的オートエンコーダは意味のある階層構造と対称性を学習できるか？
• RQ2 GANを介してroot codesの多様体を学習することで、形状構造のもっともらしい生成と補間が可能になるか？
• RQ3 合成された構造ボックスを効果的に詳細な部品ジオメトリへ変換して、完全な3D形状を形成できるか？
• RQ4 学習した構造は、オブジェクトカテゴリ間のトポロジーとジオメトリの変化（例：椅子）に対して頑健か？

主な発見

• モデルは知覚的グルーピング原則と一致する意味のある階層構造を学習する。
• Root codes は形状分類と部分一致を可能にするコンパクトな表現を提供する。
• Root codes 上のGANは、もっともらしい構造をサンプルし、補間をサポートする生成モデルを生み出す。
• 別のモジュールが合成された構造を詳細な部品ジオメトリへ効果的にマッピングし、完全な形状合成を実現する。
• このアプローチは、教師なし設定で顕著なトポロジーとジオメトリの変化を伴う形状の合成能力を示す。