[論文レビュー] 3DDesigner: Towards Photorealistic 3D Object Generation and Editing with Text-guided Diffusion Models

Gang Li, Heliang Zheng+4 more|arXiv (Cornell University)|Nov 25, 2022

Generative Adversarial Networks and Image Synthesis被引用数 12

ひとこと要約

3DDesignerは、NeRFベースの条件モジュールと二重ストリーム非同期拡散プロセスを活用して、視点間の3D整合性を確保するテキスト誘導型拡散モデルを導入し、フォトリッチな3Dオブジェクトの生成と編集を実現します。本手法は360°一貫性のある生成、2D編集からの1ビュー3Dローカル編集（ノイズブレンドおよびインバージョンを用いて）、1ショット新規ビュー合成を可能にし、3D整合性、画像品質、制御性の面で先行手法を上回ります。

ABSTRACT

Text-guided diffusion models have shown superior performance in image/video generation and editing. While few explorations have been performed in 3D scenarios. In this paper, we discuss three fundamental and interesting problems on this topic. First, we equip text-guided diffusion models to achieve 3D-consistent generation. Specifically, we integrate a NeRF-like neural field to generate low-resolution coarse results for a given camera view. Such results can provide 3D priors as condition information for the following diffusion process. During denoising diffusion, we further enhance the 3D consistency by modeling cross-view correspondences with a novel two-stream (corresponding to two different views) asynchronous diffusion process. Second, we study 3D local editing and propose a two-step solution that can generate 360-degree manipulated results by editing an object from a single view. Step 1, we propose to perform 2D local editing by blending the predicted noises. Step 2, we conduct a noise-to-text inversion process that maps 2D blended noises into the view-independent text embedding space. Once the corresponding text embedding is obtained, 360-degree images can be generated. Last but not least, we extend our model to perform one-shot novel view synthesis by fine-tuning on a single image, firstly showing the potential of leveraging text guidance for novel view synthesis. Extensive experiments and various applications show the prowess of our 3DDesigner. The project page is available at https://3ddesigner-diffusion.github.io/.

研究の動機と目的

• 3D生成におけるテキスト誘導型拡散モデルの不足、特に3D整合性を達成するための課題に対処すること。
• 単一ビューからの制御可能な3Dローカル編集を可能にし、一貫性のある360°出力が得られるようにすること。
• 1枚の画像とテキスト誘導を用いて微調整することで、1ショット新規ビュー合成への拡張を図ること。
• 3D整合性の向上を図るため、NeRFベースの事前知識と視点間対応関係モデリングを統合すること。
• 2D編集から3Dに意識した編集を可能にする、ノイズからテキストへのインバージョンパイプラインの開発

提案手法

• テキストとカメラビューから、低解像度の粗い3Dに依存する結果を生成するNeRFに類似したニューラルフィールドを条件モジュールとして統合する。
• 異なる視点からの2つのビューを同時にノイズ除去する二重ストリーム非同期拡散モジュールを採用し、視点間対応関係をモデル化することで3D整合性を向上させる。
• DDIMサンプリング中にノイズブレンド戦略を用い、ターゲット領域のノイズを新しいテキストプロンプト下で予測されたノイズに置き換えることで、2Dローカル編集を実現する。
• 2Dでブレンドされたノイズを視点に依存しないテキスト埋め込み空間にマッピングするノイズからテキストへのインバージョンプロセスを提案し、1つの編集済みビューから360°生成を可能にする。
• 画像のノイズ版をテキスト誘導でノイズ除去することで、1枚の画像に対して微調整を行い、1ショット新規ビュー合成を可能にする。
• テキストエンコーダー（CLIPベース）とNeRFベースの3D監視を組み合わせて拡散モデルを訓練し、テキスト、画像、3D幾何形状の整合性を図る。

実験結果

リサーチクエスチョン

• RQ1 テキストとカメラビューから、3D整合的でフォトリッチな3Dオブジェクトを生成するため、テキスト誘導型拡散モデルをどのように適応可能にすることができるか？
• RQ2 1ビューでの編集によって3Dローカル編集が可能となり、360°一貫性が保たれるか？
• RQ3 視点間特徴相互作用と非同期ノイズ除去が、拡散プロセス中における3D整合性を維持するために果たす役割は何か？
• RQ4 1枚の画像とテキスト誘導のみで、モデルを1ショット新規ビュー合成に拡張可能か？
• RQ5 NeRFベースの条件付けとノイズレベルに依存するガイドラインは、3D整合性と画像品質をどのように向上させるか？

主な発見

• 3DDesignerは、再実装されたベースライン（CLIP-NeRFや拡張版3DiM）と比較して、3D整合性、画像品質、制御性の面で優れた性能を達成した。
• アブレーションスタディにより、二重ストリーム非同期拡散モジュールが3D整合性を顕著に向上させていることが確認され、視点間対応関係や非同期タイムステップの欠落により性能が著しく低下した。
• ノイズブレンドとノイズからテキストへのインバージョンパイプラインは、アーティファクトが一般的に見られる画像からテキストへのインバージョンを回避し、高精細な360°編集画像を効果的に生成した。
• 定量的評価では、3DDesignerは1ショット新規ビュー合成で33.14 PSNRおよび0.94 SSIMを達成し、3DiM（32.53 PSNR、0.93 SSIM）を上回った。
• 可視化結果から、3DDesignerは複雑な編集や新規ビューのシナリオにおいて、先行手法よりも現実的で一貫性のある360°ビューを生成していることが示された。
• モデルは、車両や複雑な形状を含む多様な3Dオブジェクトにうまく一般化しており、生成、編集、合成の各タスクにおける多数の定性的な結果でその有効性が確認された。