[論文レビュー] GaussianDreamer: Fast Generation from Text to 3D Gaussians by Bridging 2D and 3D Diffusion Models

Taoran Yi, Jiemin Fang+7 more|arXiv (Cornell University)|Oct 12, 2023

Generative Adversarial Networks and Image Synthesis被引用数 7

ひとこと要約

GaussianDreamerは3D拡散 priorsを初期化し、SDSを介した2D拡散で洗練させることで、単一GPU上で高速かつリアルタイムにレンダラブルな3D資産を実現します。

ABSTRACT

In recent times, the generation of 3D assets from text prompts has shown impressive results. Both 2D and 3D diffusion models can help generate decent 3D objects based on prompts. 3D diffusion models have good 3D consistency, but their quality and generalization are limited as trainable 3D data is expensive and hard to obtain. 2D diffusion models enjoy strong abilities of generalization and fine generation, but 3D consistency is hard to guarantee. This paper attempts to bridge the power from the two types of diffusion models via the recent explicit and efficient 3D Gaussian splatting representation. A fast 3D object generation framework, named as GaussianDreamer, is proposed, where the 3D diffusion model provides priors for initialization and the 2D diffusion model enriches the geometry and appearance. Operations of noisy point growing and color perturbation are introduced to enhance the initialized Gaussians. Our GaussianDreamer can generate a high-quality 3D instance or 3D avatar within 15 minutes on one GPU, much faster than previous methods, while the generated instances can be directly rendered in real time. Demos and code are available at https://taoranyi.com/gaussiandreamer/.

研究の動機と目的

• 3D拡散 priorsと2D拡散の refinementを橋渡しして高速なテキストから3D生成を実現する。
• ジオメトリ priorsを維持しリアルタイムレンダリングを可能にする3D Gaussian Splattingを活用する。
• 初期のGaussianを豊かにするノイズ点成長とカラー摂動を導入する。
• 単一GPUで数分以内に競争力の品質を持つ3D資産生成を可能にする。

提案手法

• 粗い3D資産を3D拡散モデルで生成し点雲に変換する。
• ノイズ点成長とカラー摂動の後、これらの点雲から3Dガウスを初期化する。
• 2D拡散モデルを用いたScore Distillation Sampling (SDS) でガウスを最適化する。
• 最終資産を3Dガウシャンスプラッティングによりリアルタイム視覚化のためにレンダリングする。

実験結果

リサーチクエスチョン

• RQ1 3D拡散 priors と2D拡散ガイダンスは高品質で3D一貫性のある豊かなディテールを持つ資産を生み出すか？
• RQ2 GaussianSplattingはメッシュベースやNeRFベースのアプローチと比較して高速な最適化とリアルタイムレンダリングを可能にするか？
• RQ3 初期化戦略（テキストから3D、テキストからモーション）はジオメトリの品質と一貫性にどう影響するか？
• RQ4 ノイズ点成長とカラー摂動はディテールの豊富さとプロンプト忠実度にどのような影響を与えるか？

主な発見

Methods	ViT-L/14 ↑	ViT-bigG-14 ↑	Generation Time ↓
Shap-E [23]	20.51	32.21	6 seconds
DreamFusion [50]	23.60	37.46	1.5 hours
ProlificDreamer [77]	27.39	42.98	10 hours
Instant3D [29]	26.87	41.77	20 seconds
Ours	27.23 ± 0.06	41.88 ± 0.04	15 minutes

• 単一のRTX 3090 GPU上で15分以内に生成。
• 拡散 priors から初期化されSDSで洗練された3Dガウスは、CLIP類似性と詳細なジオメトリで競争力を持つ。
• GaussianDreamerはガウシャンスプラッティングだけでメッシュ変換なしにリアルタイムレンダリングを実現。
• テキストからの3D初期化とテキストからのモーション初期化はどちらも有効なガウシャンを生み出すが、忠実度は priors に依存。
• アブレーション実験により初期化と摂動ステップがジオメトリの一貫性とプロンプトの準拠を向上させる。