[論文レビュー] ProlificDreamer: High-Fidelity and Diverse Text-to-3D Generation with Variational Score Distillation

Zhengyi Wang, Cheng Lu+5 more|arXiv (Cornell University)|May 25, 2023

Generative Adversarial Networks and Image Synthesis被引用数 159

ひとこと要約

ProlificDreamerはVariational Score Distillation (VSD) を導入し、3Dパラメータを分布として扱う粒子ベースの変分フレームワークを提案します。これにより高忠実度で多様なテキストから3D生成を実現し、SDSを上回ります。

ABSTRACT

Score distillation sampling (SDS) has shown great promise in text-to-3D generation by distilling pretrained large-scale text-to-image diffusion models, but suffers from over-saturation, over-smoothing, and low-diversity problems. In this work, we propose to model the 3D parameter as a random variable instead of a constant as in SDS and present variational score distillation (VSD), a principled particle-based variational framework to explain and address the aforementioned issues in text-to-3D generation. We show that SDS is a special case of VSD and leads to poor samples with both small and large CFG weights. In comparison, VSD works well with various CFG weights as ancestral sampling from diffusion models and simultaneously improves the diversity and sample quality with a common CFG weight (i.e., $7.5$). We further present various improvements in the design space for text-to-3D such as distillation time schedule and density initialization, which are orthogonal to the distillation algorithm yet not well explored. Our overall approach, dubbed ProlificDreamer, can generate high rendering resolution (i.e., $512 imes512$) and high-fidelity NeRF with rich structure and complex effects (e.g., smoke and drops). Further, initialized from NeRF, meshes fine-tuned by VSD are meticulously detailed and photo-realistic. Project page and codes: https://ml.cs.tsinghua.edu.cn/prolificdreamer/

研究の動機と目的

• 追加の形状指針や補助モデルなしに、高忠実度で多様なテキストから3D生成を動機づけ、実現する。
• SDS（Score Distillation Sampling）の過飽和、過度の平滑化、多様性の低さなどの限界に対処する。
• SDSの限界を説明し、CFG設定全般でサンプル品質を改善する、 principledな変分フレームワーク（VSD）を提案する。
• レンダリング解像度、蒸留時間スケジュール、シーン初期化などの設計空間要素を探求し、3D品質を最大化する。

提案手法

• テキストプロンプトに基づく3Dコンテンツを3D表現の分布として定義する。 ノイズを含むレンダリング画像と事前学習済み拡散モデルとのKL発散を、拡散時間t全体で最適化して分布muを最適化する（変分スコア蒸留）。
• muを粒子集合{theta_i}（nは最大4）で表現し、粒子に対するワッサースタイン勾配流の更新を導出する（Eq. 7）。
• レンダリング画像で訓練されたスコアモデルepsilon_phiを用いて、ノイズを含むレンダリング画像のスコアを推定し、効率のためにLoRAでパラメータ化する。 theta_iとepsilon_phiの交互更新でVSD勾配をバックプロパゲーションして粒子を更新する（Eq. 9）。
• SDSをDirac変分分布を持つVSDの特別なケースとして示し、多様性と忠実度の低下を説明する。
• 視覚品質を向上させるため、2段階のアニーリング時間スケジュールと高解像度トレーニング（512x512）を実装する。

実験結果

リサーチクエスチョン

• RQ1 テキストからの3Dコンテンツ生成の分布的（変分）定式化は、単一点SDSより多様性と忠実度を向上させるか？
• RQ2 拡散時間のアニーリング、より高いレンダリング解像度、シーン初期化を取り入れると、テキストから3Dの品質にどう影響するか？
• RQ3 VSDで高品質なサンプルを可能にするCFG設定は何か、プロンプトとシーンを跨いでSDSとどう比較されるか？
• RQ4 SDSはVSDの特別なケースとして回復可能か、パラメトリックなスコア関数を学習することは一般化を助けるか？
• RQ5 追加の形状指針なしで、VSDは複雑な360度シーンと高忠実度のNeRFおよびテクスチャ付きメッシュをテキストから生成できるか？

主な発見

• VSDは忠実度と多様性の両面でSDSを上回り、2Dおよび3Dテストで共通のCFG（7.5）で実現可能な現実的なサンプルを達成。
• SDSはVSDの特別なケースであることが示され、サンプルの多様性と品質の限界を説明している。
• ProlificDreamerは高解像度の結果（512×512）のNeRFと豊かな構造・エフェクトを提供し、テキストプロンプトから360°シーンを可能にする。
• 2段階のトレーニングとシーン初期化戦略は、複雑なシーンや大規模環境の品質を大幅に改善する。
• VSDに導かれたメッシュのファインチューニングは、SDSベースのアプローチと比較してより詳細で写真実写的な質感をもたらす。