[論文レビュー] Structure-aware Generative Network for 3D-Shape Modeling

Zhijie Wu, Xiang Wang+4 more|arXiv (Cornell University)|Aug 12, 2018

3D Shape Modeling and Analysis参考文献 44被引用数 8

ひとこと要約

SAGNet は、二重ブランチオートエンコーダーにおける相互ブランチ特徴交換を介して、3次元形状の幾何構造と部品間の関係を同時に学習する構造に配慮した生成モデルであり、生成された形状における構造と幾何の分離制御を可能にする。本手法は、形状部品とその空間的配置の間の依存関係を明示的にモデル化することで、再構成および生成品質の向上を実現する。

ABSTRACT

We present SAGNet, a structure-aware generative model for 3D shapes. Given a set of segmented objects of a certain class, the geometry of their parts and the pairwise relationships between them (the structure) are jointly learned and embedded in a latent space by an autoencoder. The encoder intertwines the geometry and structure features into a single latent code, while the decoder disentangles the features and reconstructs the geometry and structure of the 3D model. Our autoencoder consists of two branches, one for the structure and one for the geometry. The key idea is that during the analysis, the two branches exchange information between them, thereby learning the dependencies between structure and geometry and encoding two augmented features, which are then fused into a single latent code. This explicit intertwining of information enables separately controlling the geometry and the structure of the generated models. We evaluate the performance of our method and conduct an ablation study. We explicitly show that encoding of shapes accounts for both similarities in structure and geometry. A variety of quality results generated by SAGNet are presented. The data and code are at https://github.com/zhijieW-94/SAGNet.

研究の動機と目的

• 3次元形状の幾何と部品間の構造的関係の両方を明示的にモデル化する生成モデルの開発。
• 生成された3次元形状における幾何と構造の分離制御を可能にすること。
• 形状間の幾何的および構造的類似性を捉える統一された潜在表現を学習すること。
• 部品の幾何と部品間関係を同時にエンコードすることで、3次元形状の再構成および生成品質の向上。

提案手法

• 本手法は、幾何用と構造用の2つのブランチを備えた二重ブランチオートエンコーダーを採用し、形状特徴の同時学習を可能にする。
• エンコーダーは、幾何と構造の特徴を相互に交換することで、それらを融合した1つの潜在コードに統合する。
• デコーダーは潜在コードを分離して、3次元形状の幾何と構造的関係を再構成する。
• 特徴の統合は、相互ブランチ相互作用の後に実施され、幾何と構造の間の依存関係を保持する。
• 本モデルは、形状と構造の両方の潜在空間最適化を目的とした再構成損失を用いて、エンドツーエンドで訓練される。
• アーキテクチャにより、生成過程で幾何と構造を別々に操作することが、分離された潜在表現を活用することで可能になる。

実験結果

リサーチクエスチョン

• RQ1 生成モデルは、3次元形状の幾何と構造的関係を同時に効果的に学習できるか？
• RQ2 オートエンコーダーにおける相互ブランチ特徴交換は、幾何-構造依存関係のモデリングを改善するか？
• RQ3 学習された潜在空間は、形状生成における幾何と構造の分離制御をサポートできるか？
• RQ4 構造と幾何の統合的モデリングは、再構成および生成品質にどのように影響を与えるか？

主な発見

• 本手法は、相互ブランチ特徴交換を通じて幾何と構造を統合的にモデリングすることで、優れた再構成品質を達成する。
• 分離された潜在表現により、生成過程における幾何と構造の明示的制御が可能になる。
• アブレーションスタディの結果、相互ブランチ相互作用がなければ性能が著しく劣ることを確認した。
• 定量的・定性的な結果から、本モデルは形状間の幾何的および構造的類似性を捉えていることが示された。
• 本手法は、部品関係と幾何的忠実性を保持した多様で高品質な3次元形状を生成する。