[論文レビュー] DreamCraft3D: Hierarchical 3D Generation with Bootstrapped Diffusion Prior

Jingxiang Sun, Bo Zhang+5 more|arXiv (Cornell University)|Oct 25, 2023

Computer Graphics and Visualization Techniques被引用数 24

ひとこと要約

DreamCraft3Dは、階層的な3D content generation pipelineを提示し、2D image promptを coherent 3D geometryと textureへと引き上げるために、3D-aware diffusion priorとbootstrapped texture refinementを用いる。

ABSTRACT

We present DreamCraft3D, a hierarchical 3D content generation method that produces high-fidelity and coherent 3D objects. We tackle the problem by leveraging a 2D reference image to guide the stages of geometry sculpting and texture boosting. A central focus of this work is to address the consistency issue that existing works encounter. To sculpt geometries that render coherently, we perform score distillation sampling via a view-dependent diffusion model. This 3D prior, alongside several training strategies, prioritizes the geometry consistency but compromises the texture fidelity. We further propose Bootstrapped Score Distillation to specifically boost the texture. We train a personalized diffusion model, Dreambooth, on the augmented renderings of the scene, imbuing it with 3D knowledge of the scene being optimized. The score distillation from this 3D-aware diffusion prior provides view-consistent guidance for the scene. Notably, through an alternating optimization of the diffusion prior and 3D scene representation, we achieve mutually reinforcing improvements: the optimized 3D scene aids in training the scene-specific diffusion model, which offers increasingly view-consistent guidance for 3D optimization. The optimization is thus bootstrapped and leads to substantial texture boosting. With tailored 3D priors throughout the hierarchical generation, DreamCraft3D generates coherent 3D objects with photorealistic renderings, advancing the state-of-the-art in 3D content generation. Code available at https://github.com/deepseek-ai/DreamCraft3D.

研究の動機と目的

• 高品質な2D diffusionを活用して semantic richness を備えた堅牢な3D asset生成を動機づける。
• ジオメトリの形状作成時に3D-aware priorsを用いて世界的な一貫性を達成し、Janus問題を低減する。
• シーンの多視点レンダリングに合わせた bootstrapped diffusion prior によってテクスチャの現実感を高める。
• 粗いジオメトリから高忠実度テクスチャへと段階的 refinementを可能にするため、ジオメトリとテクスチャを分離する。

提案手法

• プロンプトから参照画像を生成するための2D text-to-imageモデルを使用。
• 複数視点の一貫性を担保する view-conditioned、3D-aware diffusion priors（Zero-1-to-3）によるジオメトリ sculpting。
• 幾何生成を導くためにSDSと3D-SDS lossをハイブリッド objectiveと組み合わせる。
• 全体構造を安定させるための progressive view training と diffusion timestep annealing。
• 陰影細部の高周波ジオメトリを得るため、implicit surface（Neus）からテクスチャ付きメッシュ（DMTet）へ移行。
• テクスチャ強化は bootstrapped score distillation（BSD）により、 augmented multi-view renderings上で DreamBooth diffusion modelを微調整し、テクスチャとジオメトリの循環的相互向上を実現する。

実験結果

リサーチクエスチョン

• RQ1 2D参照画像をどのように使用して、グローバルに一貫した3Dジオメトリと高品質なテクスチャを生成できるのか？
• RQ2 3D-aware diffusion priorsは視点間の整合性を改善し、3D生成におけるJanus問題を低減できるのか？
• RQ3 multi-view renderingsでブーストされたdiffusion priorsは、ジオメトリを損なうことなくテクスチャのリアリズムを向上させるのか？
• RQ4 3D表現とdiffusion priorsの交互最適化は、最終レンダリング品質にどのような影響を及ぼすのか？

主な発見

Model	CLIP ↑	Contextual ↓	PSNR ↑	LPIPS ↓
Make-it-3D	0.872	1.609	18.937	0.054
Magic123	0.843	1.628	22.838	0.053
DreamCraft3D	0.896	1.579	31.801	0.005

• DreamCraft3Dは、複数の2D-to-3D liftingベースラインよりもシャープで説得力のあるジオメトリと豊かなテクスチャを実現する。
• viewpoint-aware 3D priorは、視点を跨ぐグローバルな一貫性を減少させるJanus問題を低減する。
• 進化する3D-aware priorを用いたBootstrapped Score Distillation (BSD)は、固定ターゲット蒸留法よりもテクスチャの一貫性とディテールを向上させる。
• ユーザ調査では、DreamCraft3Dが対となるプロンプトと画像に対して92%の参加者に基準より好まれた。
• 定性的およびアブレーション研究は、3D priorと反復BSDループがジオメトリとテクスチャの両方を改善する上で重要であることを示している。