[論文レビュー] Learning Part Generation and Assembly for Structure-aware Shape Synthesis

Jun Li, Chengjie Niu+1 more|arXiv (Cornell University)|Jun 16, 2019

3D Shape Modeling and Analysis参考文献 50被引用数 12

ひとこと要約

本稿では、VAE-GANと微分可能なパーツアセンブラーを用いて、3次元形状合成を意味的パーツ生成と構造に配慮した組み立てに分離する、パーツに注意を払った深層生成モデルPAGENetを提案する。パーツの構成と空間的配置を別々にモデル化することで、構造的に妥当で多様な高品質な3次元形状を生成でき、パーツベースの編集や意味的セグメンテーションの応用が可能となり、最先端の性能を達成する。

ABSTRACT

Learning powerful deep generative models for 3D shape synthesis is largely hindered by the difficulty in ensuring plausibility encompassing correct topology and reasonable geometry. Indeed, learning the distribution of plausible 3D shapes seems a daunting task for the holistic approaches, given the significant topological variations of 3D objects even within the same category. Enlightened by the fact that 3D shape structure is characterized as part composition and placement, we propose to model 3D shape variations with a part-aware deep generative network, coined as PAGENet. The network is composed of an array of per-part VAE-GANs, generating semantic parts composing a complete shape, followed by a part assembly module that estimates a transformation for each part to correlate and assemble them into a plausible structure. Through delegating the learning of part composition and part placement into separate networks, the difficulty of modeling structural variations of 3D shapes is greatly reduced. We demonstrate through both qualitative and quantitative evaluations that PAGENet generates 3D shapes with plausible, diverse and detailed structure, and show two applications, i.e., semantic shape segmentation and part-based shape editing.

研究の動機と目的

• 複雑なトポロジーと詳細なパーツを有する構造的に妥当な3次元形状を生成する課題に対処すること。
• 全体的な生成モデルの限界であるパーツレベルの意味的意味や空間的関係を保持できない問題を克服すること。
• 分離された構造的潜在空間を用いて、パーツベースの形状編集と意味的形状セグメンテーションを可能にすること。
• パーツ生成とパーツアセンブリを分離する「分割して統治する」アプローチにより、3次元形状の変異をモデル化すること。
• 構造に配慮した生成モデルを学習し、幾何学的およびトポロジカルな妥当性を保持できるようにすること。

提案手法

• PAGENetは、各パーツごとに個別に適用されるVAE-GANのアレイを用いて、3次元形状カテゴリの意味的パーツを分離された形で生成する。
• 各パーツ生成器は、特定の意味的パーツの潜在表現を学習し、個々のコンポONENTの制御を可能にする。
• パーツアセンブリモジュールは、各パーツの変換パラメータ（平行移動と回転）を推定し、一貫性があり構造的に妥当な形状に組み立てる。
• すべてのパーツ生成器の潜在ベクトルを連結することで構築される構造的潜在空間を用い、クロスオーバーや変異などの操作を可能にする。
• 全フレームワークはボリュメトリック設定で訓練され、敵対的損失と再構成損失を用いたエンドツーエンド最適化が行われる。
• 潜在空間の操作と、アンカーパーツの直接編集の両方が可能であり、学習済みの変換事前分布を用いて再アセンブリが実行される。

実験結果

リサーチクエスチョン

• RQ1 深層生成モデルが、3次元形状合成をパーツ生成とパーツアセンブリに効果的に分解することで、構造的妥当性を向上させることができるか？
• RQ2 分離されたパーツに注意を払った潜在空間が、構造的一致性を保ちながら多様で詳細な3次元形状生成を可能にするか？
• RQ3 モデルが幾何学的およびトポロジカルな正しさを保ちながら、意味的なパーツベースの形状編集を可能にするか？
• RQ4 構造的潜在空間が、多様体に基づく再構成とラベル転送を通じて意味的形状セグメンテーションを促進するか？
• RQ5 提案手法は、形状生成、編集、セグメンテーションの分野で最先端の手法と比較してどのように優れているか？

主な発見

• PAGENetは、定性的および定量的評価により、構造的に妥当で、詳細な幾何学的形状と多様なパーツ構成を持つ3次元形状を生成する。
• 椅子（Chair）カテゴリにおいて、意味的形状セグメンテーションで92.0%の平均交差率（mIoU）を達成し、PointNetやSyncSpecCNNを上回る性能を示した。
• ランプ（Lamp）カテゴリでは85.2%のmIoUを達成し、O-CNN や PointNet を含むすべての比較手法を上回った。
• 潜在空間の操作による3次元形状クロスオーバーが成功しており、構造的潜在空間が形状構造を効果的に保持していることを示している。
• インタラクティブなパーツベースの編集が可能である：アンカーパーツへのユーザーの編集がアセンブラーを介して伝搬され、構造的に妥当な変形形状が生成された。
• 形状セグメンテーションパイプラインは競争力のある性能を示し、学習済みのパーツに注意を払った形状多様体から最近傍の形状を検索し、正確なラベル転送を実現した。