[論文レビュー] PT2PC: Learning to Generate 3D Point Cloud Shapes from Part Tree Conditions

Kaichun Mo, He Wang+2 more|arXiv (Cornell University)|Mar 19, 2020

3D Shape Modeling and Analysis参考文献 100被引用数 7

ひとこと要約

PT2PCは、部品階層に沿った上向きおよび下向きのメッセージパッシングにより構造的要因と幾何的要因を分離することで、記号的部品ツリー条件から多様で現実的な3Dポイントクラウド形状を生成する条件付きGANを提案する。この手法は、形状の質、部品構造の忠実度、多様性の面で優れた性能を達成しており、定量的指標と人間評価によって検証されている。

ABSTRACT

3D generative shape modeling is a fundamental research area in computer vision and interactive computer graphics, with many real-world applications. This paper investigates the novel problem of generating 3D shape point cloud geometry from a symbolic part tree representation. In order to learn such a conditional shape generation procedure in an end-to-end fashion, we propose a conditional GAN "part tree"-to-"point cloud" model (PT2PC) that disentangles the structural and geometric factors. The proposed model incorporates the part tree condition into the architecture design by passing messages top-down and bottom-up along the part tree hierarchy. Experimental results and user study demonstrate the strengths of our method in generating perceptually plausible and diverse 3D point clouds, given the part tree condition. We also propose a novel structural measure for evaluating if the generated shape point clouds satisfy the part tree conditions.

研究の動機と目的

• 記号的部品ツリー記述を用いて、正確な構造的および幾何的制御を伴う3Dポイントクラウドを生成する課題に対処すること。
• 部品ツリーが構造的レイアウトを定義するエンドツーエンドの条件付き形状生成の学習を可能にすること。
• 形状構造と幾何的要因を分離することで、より制御可能で多様な3D生成を実現すること。
• 生成された形状が入力部品ツリー条件を満たしているかどうかを検証するための新しい構造的評価指標の開発。

提案手法

• 生成器は、部品ツリーの下向き符号化により意味的および構造的特徴を捉えた後、ルートから各部品ノードへとノイズを埋め込んだ幾何的特徴を上向きに伝搬する。
• 各リーフノードでは、その部品固有の特徴と幾何的特徴に基づいてポイントクラウドが復号され、最終的な出力はこれらの局所的ポイントクラウドを統合することで得られる。
• 識別器はリーフレベルで部品ごとの特徴を計算し、ツリーに沿って下向きに伝搬させ、リアルさと構造的整合性の両方を評価する。
• 包括的識別器（$D^{\texttt{whole}}$）と部品レベル識別器（$D^{\texttt{part}}$）を備えた二重識別器アーキテクチャを採用し、形状のリアルさと構造的一致性を同時に強制する。
• 同じ部品ツリーで条件付けられた場合に構造を保持しつつ、幾何的変動を可能にするために、ランダムノイズ $\mathbf{z}$ を含む潜在空間を用いる。
• 教師なしで生成されたポイントクラウドを記号的部品ツリーに分割するための新規階層的インスタンスセグメンテーション手法、HierInsSeg を提案する。

実験結果

リサーチクエスチョン

• RQ1 条件付きGANは、記号的部品ツリー表現を条件として、多様で現実的な3Dポイントクラウドを生成できるか？
• RQ2 このモデルは、制御可能な生成のための形状構造と幾何的変動をどの程度明確に分離できるか？
• RQ3 生成された形状は、入力部品ツリーで定義された構造的関係をどの程度正確に保持しているか？
• RQ4 形状の質、部品構造の正確さ、多様性の観点から、ベースラインのGANと比較して、本手法はどのように優れているか？
• RQ5 本手法は、未学習の部品ツリーテンプレートに対しても一般化可能であり、構造的忠実度を維持できるか？

主な発見

• 提案されたPT2PCモデルは、定量的指標と人間評価の両面で2つのベースライン条件付きGANを大きく上回り、すべての条件下でユーザー研究において最高の平均順位（全体で1.33）を達成した。
• チェアクラスでは、未学習のテストテンプレートにおいて、構造的類似度の平均ユーザー順位が1.24、全体的質の平均順位が1.40であった。これは、優れた一般化性能と知覚的品質を示している。
• モデルは明確な分離を示した：ノイズ $\mathbf{z}$ のみを変化させると同じ部品ツリーで幾何的変動が生じ、$\mathbf{z}$ を固定して部品ツリーを変更すると、幾分かの幾何的特徴を維持しつつ構造的変動が生じた。
• 提案されたHierInsSeg指標は、構造的整合性の評価に成功し、PT2PCが生成した形状が正しい部品階層とセグメンテーションを維持しているのに対し、ベースラインはそうではなかった。
• アブレーションスタディにより、包括的識別器 $D^{\texttt{whole}}$ を削除すると性能が低下することが確認され、それがグローバルな形状のリアルさを維持するために重要であることが示された。
• 部品ツリー1つあたり1つの実際の形状しか学習データにない状況でも、類似した部品ツリー構造間での知識伝達により、多様で妥当なバリエーションが生成された。