[論文レビュー] SPAGHETTI: Editing Implicit Shapes Through Part Aware Generation

Amir Hertz, Or Perel+3 more|arXiv (Cornell University)|Jan 31, 2022

3D Shape Modeling and Analysis被引用数 6

ひとこと要約

SPAGHETTI は、形状部の離散化された潜在表現を用いて、インタラクティブでローカルな編集を可能にする、部分に注意を向ける生成モデルを導入する。変換器ベースのアーキテクチャにより、内在的幾何学的性質と外在的空間的埋め込みを分離することで、部品の変換、混合、補間が部分の教師なしで可能となり、未学習の形状に対しても高精度な編集と形状再構築を実現する。

ABSTRACT

Neural implicit fields are quickly emerging as an attractive representation for learning based techniques. However, adopting them for 3D shape modeling and editing is challenging. We introduce a method for $\mathbf{E}$diting $\mathbf{I}$mplicit $\mathbf{S}$hapes $\mathbf{T}$hrough $\mathbf{P}$art $\mathbf{A}$ware $\mathbf{G}$enera$\mathbf{T}$ion, permuted in short as SPAGHETTI. Our architecture allows for manipulation of implicit shapes by means of transforming, interpolating and combining shape segments together, without requiring explicit part supervision. SPAGHETTI disentangles shape part representation into extrinsic and intrinsic geometric information. This characteristic enables a generative framework with part-level control. The modeling capabilities of SPAGHETTI are demonstrated using an interactive graphical interface, where users can directly edit neural implicit shapes.

研究の動機と目的

• 明示的な部品アノテーションを必要とせずに、ニューラルインクリメント3D形状のインタラクティブでローカルな編集を可能にすること。
• 形状部の表現を内在的幾何学的性質と外在的空間的埋め込みに分離し、細かい制御を可能にすること。
• 潜在空間が未学習の形状に一般化できるように、変換、交換、補間などの部分レベルの操作を可能にすること。
• 離散化された潜在コード構造を活用することで、新しい未学習形状の形状再構築を可能にすること。
• オクトリーレイアウトを用いた高速レンダリングとユーザインタラクションを支援するインタラクティブでリアルタイムの編集インターフェースを提供すること。

提案手法

• モデルは、形状の潜在コード zₐ を、各々が異なる3D部品の幾何学的性質とグローバル変換をエンコードする部品固有の潜在コード Zᵦ に分解するネットワークを用いる。
• 変換器ベースの混合ネットワークが Zᵦ を処理し、部品の関係性と空間的文脈をエンコードする文脈埋め込み Z꜀ を生成する。
• オクチーピー・ネットワーク（変換器デコーダーとして実装）は、Z꜀ に注目することで、任意のクエリポイントにおける占有状態を予測し、最終的なインクリメント形状を生成する。
• 編集は、部品の外在的パrameter（例：回転、平行移動）を直接変更するか、他の形状からの部品コードに置き換えることで、潜在空間内で直接実行される。
• 未学習形状の部品コードを、離散化された潜在空間を活用して最適化することで、学習データを超えた一般化を可能にする形状再構築手法を採用する。
• システムは、リアルタイムレンダリングとインタラクティブ編集を可能にするために、オクトリーレイアウト構造を用いる。

実験結果

リサーチクエスチョン

• RQ1 明示的な部品の教師なしで、ニューラルインクリメント形状を部品レベルで編集できるか？
• RQ2 潜在表現において、内在的幾何学的性質と外在的幾何学的性質をどのように分離することで、局所的な変形を可能にできるか？
• RQ3 生成モデルが、異なる形状の部品を連続的かつ一貫性を持って補間・混合できるか？
• RQ4 潜在空間の再構築により、未学習の形状にどの程度一般化できるか？
• RQ5 離散化された表現が、高品質でリアルタイム性能を満たすインタラクティブ編集を可能にできるか？

主な発見

• SPAGHETTI は、離散化された潜在空間における部品レベルの潜在コードの直接操作により、ニューラルインクリメント形状のインタラクティブでリアルタイムの編集を実現する。
• モデルは、内在的幾何学的性質と外在的空間的埋め込みを分離することで、分布崩壊を回避しつつ、局所的なアフィン変換を可能にする高品質な形状生成と編集を達成する。
• 本手法は、部品数が異なる形状間や、部品対応がなくても、変換器デコーダーにおける注意重みの補間を用いて、部分レベルの補間を可能にする。
• 定量的評価では、混合形状が入力部品の表面積に近く（面積評価）、セグメンテーション分布のジェンセン・シャノン発散が低くなる（セグメンテーション評価）ことから、高精度であることが示された。
• 形状再構築手法は、未学習の形状の部品コードを効果的に回復でき、学習分布外の新規形状の編集を可能にした。
• 制限事項として、教師なしのため、意味的部品の過剰または過小クラスタリングが生じる可能性があり、たとえば1本の椅子の脚を複数のガウス分布として扱う、または背もたれを複数の部品に分割するといった問題が生じる。