[論文レビュー] SALAD: Part-Level Latent Diffusion for 3D Shape Generation and Manipulation

Juil Koo, Seung-Woo Yoo+2 more|arXiv (Cornell University)|Mar 21, 2023

3D Shape Modeling and Analysis被引用数 4

ひとこと要約

SALADは、部分レベルの暗黙的表現を用いた段階的潜在拡散モデルを提案し、微調整なしで最先端の生成品質とゼロショット部分レベルの編集を実現する。外部および内部の部分埋め込みを分離し、二段階の段階的拡散を適用することで、形状生成、部分混合、精緻化、テキスト誘導型補完において優れた性能を達成する。

ABSTRACT

We present a cascaded diffusion model based on a part-level implicit 3D representation. Our model achieves state-of-the-art generation quality and also enables part-level shape editing and manipulation without any additional training in conditional setup. Diffusion models have demonstrated impressive capabilities in data generation as well as zero-shot completion and editing via a guided reverse process. Recent research on 3D diffusion models has focused on improving their generation capabilities with various data representations, while the absence of structural information has limited their capability in completion and editing tasks. We thus propose our novel diffusion model using a part-level implicit representation. To effectively learn diffusion with high-dimensional embedding vectors of parts, we propose a cascaded framework, learning diffusion first on a low-dimensional subspace encoding extrinsic parameters of parts and then on the other high-dimensional subspace encoding intrinsic attributes. In the experiments, we demonstrate the outperformance of our method compared with the previous ones both in generation and part-level completion and manipulation tasks.

研究の動機と目的

• 3D拡散モデルを設計し、最先端の生成品質を達成するとともに、ゼロショット部分レベルの操作を可能にする。
• 既存の3D拡散モデルが潜在コードにおける構造的および空間的情報の欠如により、編集および補完に限界を示す問題を解決する。
• 外部および内部の成分を分離することで、高次元の部分埋め込みを効果的に学習する段階的拡散フレームワークを設計する。
• 再トレーニングなしでテキスト条件付けと部分選択による柔軟でユーザー主導の形状編集を可能にする。
• 部分混合、精緻化、テキスト誘導型補完を含む多様な操作タスクにおけるモデルの汎用性を実証する。

提案手法

• 各部分が外部（位置、方向）および内部（幾何的詳細）パラメータを捉える分離された埋め込みベクトルで符号化される部分レベルの暗黙的表現を採用する。
• 二段階の段階的拡散パイプラインを導入：まず低次元部分空間で外部パラメータを生成し、その後外部パラメータを条件として内部潜在コードを生成する。
• 集合表現におけるパーツ間の順列不変性とグローバルな通信を保証するため、タイムステップ条件付き自己注意機構を備えたTransformerアーキテクチャを用いる。
• 潜在空間においてノイズスケジューリングと逆方向のノイズ除去を適用し、ランダムノイズから完全な3D形状を生成する。
• AdaLNを用いてテキスト埋め込みを条件付けすることで、逆方向拡散プロセスをテキスト誘導型生成および補完に適応させる。
• テキスト駆動型セマンティック部分セグメンテーションモデル（GAUSSGLOT）と統合し、インタラクティブでテキスト駆動型の個別パーツ選択と編集を可能にする。

実験結果

リサーチクエスチョン

• RQ1 部分レベル表現で学習された3D拡散モデルは、微fine-tuningなしで最先端の生成品質を達成し、ゼロショット部分レベルの編集を可能にするか？
• RQ2 外部および内部の部分埋め込みを分離することで、3D形状生成の品質と制御性はどのように向上するか？
• RQ3 分離された部分表現を持つ潜在拡散モデルは、部分混合、精緻化、テキスト誘導型補完といった多様な操作タスクをどの程度サポートできるか？
• RQ4 微fine-tuningなしで、テキストから3D形状を合成するような条件付き生成タスクに一般化可能か？
• RQ5 段階的拡散設計は、高次元の部分埋め込み空間における訓練安定性と生成品質をどのように向上させるか？

主な発見

• SALADは、すべての形状クラスにおいてCDおよびEMD指標でSPAGHETTIや他のベースラインを上回り、3D形状生成でSOTA性能を達成した。
• 部分混合および精緻化において、SALADは出力品質を向上させ、SPAGHETTIと比較して平均でCDが3.21%低下、EMDが1.83%低下した。
• テキスト誘導型生成では、SALADは4.043のFPDスコアを達成し、AutoSDFの31.53を顕著に上回り、忠実性および現実性が優れていることを示した。
• テキスト誘導型部分補完において、SALADはテキスト記述に基づき選択された部分を正常に補完した。品質評価とニューラルエバリュエータープreferences（SALAD：42.22 NEP、AutoSDF：38.98）により妥当性が裏付けられた。
• SALADは、すべてのクラスで1-NNA指標に顕著な向上を示し、ゼロショット編集における強力な能力を示した。これは局所形状の一貫性が向上していることを示している。
• 段階的拡散設計により、計算コストを増加させることなく、高次元潜在空間における効果的な学習が可能となり、生成品質が向上した。