[論文レビュー] DualSDF: Semantic Shape Manipulation using a Two-Level Representation

Zekun Hao, Hadar Averbuch‐Elor+2 more|arXiv (Cornell University)|Apr 6, 2020

3D Shape Modeling and Analysis参考文献 36被引用数 6

ひとこと要約

DualSDFは、共通の変分潜在空間を介して緊密に結合された、粗い意味的意味を持つプリミティブベースの形状と高分解能の符号付き距離関数（SDF）モデルを組み合わせた二段階の3次元形状表現を提案する。これにより、プリミティブの編集が即座に詳細な幾何形状に反映され、意味的整合性を保ちながら直感的でインタラクティブな形状編集が可能になる。

ABSTRACT

We are seeing a Cambrian explosion of 3D shape representations for use in machine learning. Some representations seek high expressive power in capturing high-resolution detail. Other approaches seek to represent shapes as compositions of simple parts, which are intuitive for people to understand and easy to edit and manipulate. However, it is difficult to achieve both fidelity and interpretability in the same representation. We propose DualSDF, a representation expressing shapes at two levels of granularity, one capturing fine details and the other representing an abstracted proxy shape using simple and semantically consistent shape primitives. To achieve a tight coupling between the two representations, we use a variational objective over a shared latent space. Our two-level model gives rise to a new shape manipulation technique in which a user can interactively manipulate the coarse proxy shape and see the changes instantly mirrored in the high-resolution shape. Moreover, our model actively augments and guides the manipulation towards producing semantically meaningful shapes, making complex manipulations possible with minimal user input.

研究の動機と目的

• 3次元形状表現において、高い幾何的忠実性と解釈可能性を同時に達成する挑戦に応えること。
• 3次元形状モデリングにおける高分解能の詳細と意味的・部品ベースの理解のギャップを埋めること。
• 粗い代理表現を通じて細粒度の幾何形状に変更を引き起こすことで、直感的でインタラクティブな形状編集を可能にすること。
• 編集中に形状の整合性と意味的意味を保つために、粗い表現と細かい表現の間をきめ細かく結合すること。
• 変分オートデコーダーとSDFを用いた統合フレームワークを構築し、3次元形状の生成、編集、補間を支援すること。

提案手法

• 形状を二段階で表現する：単純な幾何的プリミティブ（例：球、カプセル）で構成される粗いレベルの代理表現（SDF形式を用いる）。
• 深層ニューラルネットワークを用いて、共有潜在コードからSDF値を予測することで高分解能幾何形状をモデル化する。
• 変分オートデコーダー（VAD）を用い、同一のコードベクトルが粗い表現と細かい表現の両方にデコード可能となる共有潜在空間を学習する。
• 潜在空間の正則化を通じて、補間、最適化、生成のための変分目的を介して表現の結合を強制する。
• 最適化による編集を可能にする：ユーザーがプリミティブの属性（例：位置、半径）を編集し、その変更を反映する潜在コードを更新することで、妥当な形状の多様体上に留まる。
• 両方のレベルの基盤としてSDFを活用することで、効率的なレンダリング、微分可能な演算、一貫性のある幾何的表現を実現する。

実験結果

リサーチクエスチョン

• RQ1 二段階の3次元形状表現は、同時に高い幾何的忠実性と意味的解釈可能性を達成できるか？
• RQ2 粗いレベルの形状編集を、高分解能幾何形状に効果的かつ意味的に効果的に伝播できるか？
• RQ3 共有された変分潜在空間が、多様な形状にわたって粗い表現と細かい表現の間をきめ細かく結合する程度はどの程度か？
• RQ4 プリミティブ空間における最適化ベースの編集によって、高分解能出力における現実的で意味的に整合性のある変更が得られるか？
• RQ5 学習されたプリミティブの意味的整合性を、形状コレクション全体にわたり定量的に測定・検証できるか？

主な発見

• 変分オートデコーダーによる学習で得られる共有潜在空間は、標準的なオートエンコーダーやオートデコーダーよりも、粗い表現と細かい表現の間の結合をきめ細かく保証する。
• ユーザーはプリミティブの属性（例：半径、位置）を編集することで、粗い代理形状をインタラクティブに操作でき、その変更が意味的整合性を保ちながら即座に高分解能SDFに反映される。
• モデルは形状全体にわたって高い意味的整合性を達成している：例えば、椅子カテゴリにおいては、椅子の脚が一貫してそのようにラベル付けされており、85.7%のプリミティブがトップラベルと一致し、94.3%がトップ3ラベルと一致している。
• 直接プリミティブ属性を最適化することで、制御可能な補間が可能であり、たとえば椅子の高さのみを調整するなどの選択的変更が可能で、他の形状的特性は維持される。
• 二段階の表現は、高速な粗いモデルを用いた形状空間のリアルタイム走査を可能にし、高分解能レンダリングは必要に応じてオンデマンドで提供される。
• 新規に導入された指標（表現間一貫性とプリミティブベースの意味的整合性）は、両表現が良好に一致しており、多様な形状にわたってプリミティブが一貫した意味的役割を果たしていることを示している。