[論文レビュー] DSM-Net: Disentangled Structured Mesh Net for Controllable Generation of Fine Geometry

Jie Yang, Kaichun Mo+3 more|arXiv (Cornell University)|Aug 12, 2020

3D Shape Modeling and Analysis被引用数 23

ひとこと要約

DSM-Net は、階層的変分オートエンコーダーと双方向写像を用いて幾何と構造を統合的にモデリングすることで、3D形状の分離された構造的メッシュ表現を学習する深層生成モデルであり、幾何を保持したまま構造の補間などの制御可能な生成を可能にし、合成形状の品質において最先端の性能を達成している。

ABSTRACT

3D shape generation is a fundamental operation in computer graphics. While significant progress has been made, especially with recent deep generative models, it remains a challenge to synthesize high-quality geometric shapes with rich detail and complex structure, in a controllable manner. To tackle this, we introduce DSM-Net, a deep neural network that learns a disentangled structured mesh representation for 3D shapes, where two key aspects of shapes, geometry and structure, are encoded in a synergistic manner to ensure plausibility of the generated shapes, while also being disentangled as much as possible. This supports a range of novel shape generation applications with intuitive control, such as interpolation of structure (geometry) while keeping geometry (structure) unchanged. To achieve this, we simultaneously learn structure and geometry through variational autoencoders (VAEs) in a hierarchical manner for both, with bijective mappings at each level. In this manner we effectively encode geometry and structure in separate latent spaces, while ensuring their compatibility: the structure is used to guide the geometry and vice versa. At the leaf level, the part geometry is represented using a conditional part VAE, to encode high-quality geometric details, guided by the structure context as the condition. Our method not only supports controllable generation applications, but also produces high-quality synthesized shapes, outperforming state-of-the-art methods.

研究の動機と目的

• 複雑な構造を有する高品質で詳細な3D形状を、制御可能に生成する課題に対処すること。
• 幾何と構造的レイアウトの表現を分離しつつ、それらの整合性を維持すること。
• 固定された幾何を維持したまま構造の補間が可能な、構造的生成の新応用を可能にすること。
• 構造的文脈に基づく条件付きモデリングにより、形状の妥当性と幾何的詳細を向上させること。
• 直感的な制御が可能な高精細3Dメッシュの生成において、既存手法を上回ること。

提案手法

• DSM-Net は、構造と幾何を別々にモデリングしつつも、互換性を保つための階層的変分オートエンコーダー（VAE）フレームワークを採用している。
• 階層の各レベルに双方向写像を適用することで、幾何と構造の可逆的かつ分離可能な符号化を保証している。
• リーフレベルでは、構造的文脈を条件として用いた条件付きVAEにより、部品の幾何をモデリングし、高精細な詳細生成を実現している。
• 構造が幾何の生成をガイドし、幾何が構造の学習を補完することで、相乗的で双方向的な関係を構築している。
• 細かな幾何的詳細と構造的一致性を両立できるメッシュベースの表現を採用している。
• ネットワークはエンドツーエンドで訓練され、分離性と形状の妥当性の両方を最適化している。

実験結果

リサーチクエスチョン

• RQ1 3D形状における幾何と構造を、潜在空間で効果的に分離可能であり、かつ整合性を保てるか？
• RQ2 双方向写像を用いた階層的VAEは、直感的なユーザー操作が可能な制御可能な3D形状生成を可能にするか？
• RQ3 構造的文脈に基づいて幾何を条件づけることで、生成形状の品質と忠実度が向上するか？
• RQ4 複雑で詳細な3Dメッシュの生成において、最先端の性能を達成できるか？
• RQ5 幾何を維持したまま構造の補間が生成出力において実現可能で妥当であるか？

主な発見

• DSM-Net は、双方向写像を用いた階層的VAEにより、3D形状の幾何と構造を成功裏に分離している。
• 本モデルは、幾何を固定したまま構造を補間するなど、新たな制御可能な生成タスクを可能にしている。
• リーフレベルにおける条件付き部品VAEは、構造的文脈に基づいて高品質な幾何的詳細を生成している。
• 構造と幾何のモデリングの相乗的相互作用により、形状の妥当性と現実性が向上している。
• DSM-Net は、複雑な構造と細かな詳細を有する高精細3Dメッシュの生成において、最先端の手法を上回っている。
• 本手法は定性的および定量的評価の両方で優れた結果を達成しており、生成品質の向上が明確に示されている。