[論文レビュー] NeuralField-LDM: Scene Generation with Hierarchical Latent Diffusion Models

Seung Wook Kim, Bradley Brown+7 more|arXiv (Cornell University)|Apr 19, 2023

Generative Adversarial Networks and Image Synthesis被引用数 5

ひとこと要約

NeuralField-LDM は、姿勢付き画像および深度データから、複雑で高品質な3D現実世界のシーンを生成する階層的潜在拡散モデルを導入する。このモデルは、オートエンコーダーを用いてシーンをニューラルフィールドに符号化し、多スケールの潜在変数（3D粗いスケール、2D細かいスケール、1Dグローバルスケール）に圧縮し、階層的拡散モデルを用いて新規なシーンを生成する。4つのベンチマークデータセットにおいて最先端の性能を達成するとともに、条件付き生成、スタイル転送、編集が可能である。

ABSTRACT

Automatically generating high-quality real world 3D scenes is of enormous interest for applications such as virtual reality and robotics simulation. Towards this goal, we introduce NeuralField-LDM, a generative model capable of synthesizing complex 3D environments. We leverage Latent Diffusion Models that have been successfully utilized for efficient high-quality 2D content creation. We first train a scene auto-encoder to express a set of image and pose pairs as a neural field, represented as density and feature voxel grids that can be projected to produce novel views of the scene. To further compress this representation, we train a latent-autoencoder that maps the voxel grids to a set of latent representations. A hierarchical diffusion model is then fit to the latents to complete the scene generation pipeline. We achieve a substantial improvement over existing state-of-the-art scene generation models. Additionally, we show how NeuralField-LDM can be used for a variety of 3D content creation applications, including conditional scene generation, scene inpainting and scene style manipulation.

研究の動機と目的

• 明示的な3Dの教師データを必要としないスケーラブルで高精細な3Dシーン生成の課題に取り組む。
• 従来の3D拡散モデルにおける単一ベクトル条件付けの制限を克服し、複雑なシーン分布のモデリングを可能にする。
• 条件付き生成、スタイル転送、シーン編集といった多様な3Dコンテンツ作成の応用を可能にする。
• 事前学習済み画像拡散モデルからのスコア蒸留と潜在空間拡散を活用し、サンプルの品質と多様性を向上させる。
• 撮影位置がわかっている画像と深度データのみを用いるスケーラブルなパイプラインを開発し、データ収集をより実用的にする。

提案手法

• 姿勢付き画像と深度ペアから3Dシーンを密度および特徴ボクセルグリッドとして表現するためのシーンオートエンコーダーを学習する。
• ボクセルグリッドを階層的潜在空間に圧縮するための潜在オートエンコーダーを適用：3D粗いスケール、2D細かいスケール、1Dグローバルスケールの潜在変数。
• 3つの潜在変数表現を用いて、新規な3Dシーンを生成する階層的拡散モデルを学習する。
• 事前学習済みCLIPエンコーダーを用いたスコア蒸留サンプリング（SDS）を適用し、生成されたニューラルフィールドの視覚的品質を向上させる。
• 鳥瞰図セグメンテーションマップやテキストプロンプトを条件として用いることで、条件付き生成を可能にする。
• CLIP方向損失を用いた微調整と潜在空間の操作により、シーン編集とスタイル転送を支援する。

実験結果

リサーチクエスチョン

• RQ1 明示的な3Dの教師信号がなくても、2D画像と深度データから階層的潜在拡散モデルが多様で高精細な3Dシーンを効果的に生成できるか？
• RQ2 単一ベクトル条件付けと比較して、階層的潜在空間分解が3Dシーン生成のモデリング能力と品質にどのように寄与するか？
• RQ3 事前学習済み画像拡散モデルからのスコア蒸留が、生成された3Dシーンの視覚的精細度を顕著に向上させられるか？
• RQ4 NeuralField-LDM がセマンティックマップやテキストプロンプトを用いた条件付きシーン生成をどの程度効果的にサポートできるか？
• RQ5 モデルは3D空間において高品質でコンテンツを保持するスタイル転送とシーン編集を可能にするか？

主な発見

• NeuralField-LDM は4つの挑戦的な3Dシーン生成ベンチマークで最先端の性能を達成し、品質と多様性の両面で先行手法を上回った。
• 階層的潜在空間設計により、グローバル、ローカル、細粒度の特徴を分離することで、複雑なシーン構造のモデリングが向上した。
• 事前学習済みCLIPモデルを用いたスコア蒸留により、特に構造的・テクスチャ的詳細における生成シーンの視覚的品質が顕著に向上した。
• 鳥瞰図セグメンテーションマップを条件として用いた条件付き生成により、正確で意味論的にガイドされたシーン合成と正確なレイアウト制御が可能になった。
• CLIP方向損失を用いたテキストガイドドスタイル転送により、異なるシーン間で高速かつ汎用的なスタイル適応が可能になったが、SDSベースの最適化がより高い品質を達成した。
• 潜在空間における再サンプリングによるシーン編集により、局所的でコンテンツを保持する変更が可能でありながら、グローバルな整合性を維持した。