[論文レビュー] StructureNet: Hierarchical Graph Networks for 3D Shape Generation

Kaichun Mo, Paul Guerrero+5 more|arXiv (Cornell University)|Aug 1, 2019

3D Shape Modeling and Analysis参考文献 81被引用数 60

ひとこと要約

StructureNetは、水平リレーションを持つn-元の形状部階層をエンコードする階層グラフネットワークを導入し、3D形状の生成、内插、構造を意識した処理を実現します。

ABSTRACT

The ability to generate novel, diverse, and realistic 3D shapes along with associated part semantics and structure is central to many applications requiring high-quality 3D assets or large volumes of realistic training data. A key challenge towards this goal is how to accommodate diverse shape variations, including both continuous deformations of parts as well as structural or discrete alterations which add to, remove from, or modify the shape constituents and compositional structure. Such object structure can typically be organized into a hierarchy of constituent object parts and relationships, represented as a hierarchy of n-ary graphs. We introduce StructureNet, a hierarchical graph network which (i) can directly encode shapes represented as such n-ary graphs; (ii) can be robustly trained on large and complex shape families; and (iii) can be used to generate a great diversity of realistic structured shape geometries. Technically, we accomplish this by drawing inspiration from recent advances in graph neural networks to propose an order-invariant encoding of n-ary graphs, considering jointly both part geometry and inter-part relations during network training. We extensively evaluate the quality of the learned latent spaces for various shape families and show significant advantages over baseline and competing methods. The learned latent spaces enable several structure-aware geometry processing applications, including shape generation and interpolation, shape editing, or shape structure discovery directly from un-annotated images, point clouds, or partial scans.

研究の動機と目的

• 多様な形状ファミリーに跨る幾何学的変動と構造的変動の両方を捉える連続潜在空間の学習を動機付ける。
• 形状をグラフの階層（兄弟関係を持つn-叉木）として表現し、物体間の構造的一貫性を保つ。
• 部分的または未アノテーションの入力から、構造化された3D形状の生成、内插、構造を意識した編集を可能にする。

提案手法

• n-元階層グラフ表現上で動作する、幾何とグラフの2つのエンコーダとグラフと幾何の2つのデコーダを備えた変分オートエンコーダとしてStructureNetを提案する。
• リーフ部品を幾何エンコーダ（境界ボックスまたは点群）でエンコードし、GIN/Dynamic Graph CNNに触発された再帰的グラフ畳み込みを介して伝搬する。
• エンコーディング時に対称関数を用いて順序不変性を達成し、デコーディング時には線形割り当てに基づくマッチングを用いる。
• 兄弟間の水平関係を辺としてモデル化（隣接性や多様な対称性を含む）ことで、構造を意識した生成を豊かにする。
• 子グラフを、可能な子の最大数と辺の固定を用いてデコードし、スキップ接続と反復的メッセージ伝搬を組み合わせた2段階デコードプロセスを用いる。
• 再構成損失、構造一貫性損失、変分正則化（beta-VAEスタイル）を組み合わせた損失で訓練し、滑らかな潜在空間を確保する。

実験結果

リサーチクエスチョン

• RQ1 単一の潜在空間は、多様な形状ファミリーにわたる幾何学的変動と階層的構造を同時に捉えることができるか？
• RQ2 二値化せずに、水平関係を持つn-ary階層をどの程度効果的にエンコード・デコードできるか？
• RQ3 構造を意識した潜在空間は、未アノテーションの入力からの正確な形状生成・内插・編集・構造の発見を可能にするか？
• RQ4 椅子データセットやPartNetデータセットにおける学習・生成・構造認識タスクで、StructureNetはベースラインと比較してどの程度優れているか？

主な発見

• 本モデルは、幾何学的および構造的変動の両方を伴う構造化された3D形状の生成と内插を可能にする。
• StructureNetは、未アノテーションの入力（画像、点群）を潜在空間に射影し、意味的にセマンティックに分割された階層形状を生み出すことを支持する。
• 順序不変エンコーディングと線形割り当て一致を組み込んだエンコーダ/デコーダ設計は、大規模な形状ファミリに対して堅牢な学習を達成する。
• グラフエッジとしてモデル化された水平な兄弟関係はデコードの一貫性を高め、編集や部品レベルの変更といった構造を意識した操作を可能にする。
• 実証評価は、構造化された形状分布の学習において、StructureNetがベースラインおよび競合手法より著しく有利であることを示している。