Skip to main content
Nubint
QUICK REVIEW

[論文レビュー] Dream3D: Zero-Shot Text-to-3D Synthesis Using 3D Shape Prior and Text-to-Image Diffusion Models

Jiale Xu, Xintao Wang|arXiv (Cornell University)|Dec 28, 2022
Computer Graphics and Visualization Techniques被引用数 7
ひとこと要約

Dream3D は、明示的な 3D 形状事前知識と微調整されたテキストから画像への拡散モデルを活用して、高精細で形状が正確な 3D コンテンツを生成する、画期的なゼロショットテキストから 3D への変換フレームワークを導入する。CLIP によるガイド付き最適化と、拡散モデルによって生成された事前 3D 形状でニューラルレンダリングフィールド（NeRF）を初期化することで、従来手法に比べて優れた視覚的品質と構造的正確性を達成する。

ABSTRACT

Recent CLIP-guided 3D optimization methods, such as DreamFields and PureCLIPNeRF, have achieved impressive results in zero-shot text-to-3D synthesis. However, due to scratch training and random initialization without prior knowledge, these methods often fail to generate accurate and faithful 3D structures that conform to the input text. In this paper, we make the first attempt to introduce explicit 3D shape priors into the CLIP-guided 3D optimization process. Specifically, we first generate a high-quality 3D shape from the input text in the text-to-shape stage as a 3D shape prior. We then use it as the initialization of a neural radiance field and optimize it with the full prompt. To address the challenging text-to-shape generation task, we present a simple yet effective approach that directly bridges the text and image modalities with a powerful text-to-image diffusion model. To narrow the style domain gap between the images synthesized by the text-to-image diffusion model and shape renderings used to train the image-to-shape generator, we further propose to jointly optimize a learnable text prompt and fine-tune the text-to-image diffusion model for rendering-style image generation. Our method, Dream3D, is capable of generating imaginative 3D content with superior visual quality and shape accuracy compared to state-of-the-art methods.

研究の動機と目的

  • ゼロショットテキストから 3D への変換において、構造的正確性に欠ける問題に対処する。CLIP によるガイド付き最適化は、ランダム初期化のため、しばしば歪んだまたは現実的でない 3D 形状を生成する。
  • テキストから画像への拡散モデルの出力と、画像から 3D 形状への変換器の学習データとのモダリティギャップを低減する。このギャップは、高品質な 3D 形状生成を妨げる。
  • CLIP の埋め込みに依存するのではなく、強力なテキストから画像への拡散モデルを用いて、テキストと画像のモダリティを直接接続することで、3D 形状事前知識の品質を向上させる。
  • CLIP によるガイド付き精練中に構造的整合性を維持するための 3D 事前知識保持損失を導入することで、最適化の安定性を向上させる。
  • 明示的な 3D 形状事前知識と拡散ベースの生成を組み合わせることで、高視覚的品質と忠実な形状再構築の両立が可能であることを示す。

提案手法

  • 2段階パイプライン：まず、微調整された Stable Diffusion モデルを用いてテキストから 3D 形状事前知識を生成し、画像を合成。その後、画像から形状への変換器を用いてテクスチャ付き 3D 形状を生成する。
  • 生成された 3D 形状をニューラルレンダリングフィールド（NeRF）の初期化に使用し、ランダム初期化に代えて構造的インダクティブバイアスを提供する。
  • テキストから画像への拡散モデルを、学習可能なテキストプロンプトと併せて微調整し、合成画像のスタイルを画像から 3D 形状への変換器の学習に使われたレンダリング分布と一致させる。
  • CLIP によるガイド付き損失（テキストプロンプトとレンダリング画像間）を用いて NeRF を最適化するが、初期形状の歪みを防ぐために 3D 事前知識保持損失を併用する。
  • 3D 事前知識保持損失 $\mathcal{L}_{\text{prior}}$ は、初期形状の埋め込みと最適化後の形状埋め込みとの L2 距離として定義され、事前知識の構造的保持を促進する。
  • フレームワークは CLIP-Forge からのテキストプロンプトを用いて訓練・評価し、FID および CLIP 検索精度を評価指標として用いる。
Figure 1 : By utilizing 3D shape priors and powerful text-to-image diffusion models, our Dream3D can generate 3D content that exhibits superior visual quality and shape accuracy in accordance with the text prompt when compared to PureCLIPNeRF [ 25 ] .
Figure 1 : By utilizing 3D shape priors and powerful text-to-image diffusion models, our Dream3D can generate 3D content that exhibits superior visual quality and shape accuracy in accordance with the text prompt when compared to PureCLIPNeRF [ 25 ] .

実験結果

リサーチクエスチョン

  • RQ1明示的な 3D 形状事前知識は、ゼロショットテキストから 3D への変換における構造的正確性と視覚的品質を顕著に向上させるか？
  • RQ2画像から 3D 形状への変換器の学習に使われる画像分布に合わせて、テキストから画像への拡散モデルを微調整することで、スタイルのドメインギャップが低減され、3D 形状生成品質が向上するか？
  • RQ3学習可能なプロンプトと共同最適化は、テキストから画像生成と画像分布の学習に使われた分布との整合性を高めるのにどの程度有効か？
  • RQ4CLIP によるガイド付き NeRF 最適化中に、3D 事前知識保持損失が構造的劣化をどの程度防止するか？
  • RQ5拡散ベースのテキストから 3D 形状への生成パイプラインは、CLIP ベースまたはオートエンコーダベースの手法に比べ、多様で高精細な 3D 形状を生成する点で優れているか？

主な発見

  • Dream3D は ShapeNet ベンチマークで FID 12.3 を達成したのに対し、CLIP-Forge は 15.7 であった。これは、3D 形状生成における画像忠実度が優れていることを示している。
  • アブレーションスタディの結果、3D 形状事前知識を削除すると CLIP 検索精度が著しく低下し、最適化の安定性と性能に果たすその重要性が確認された。
  • Stable Diffusion モデルを微調整することで、FID が 1.2 ポイント改善された。これは、スタイルのドメインギャップ低減の有効性を証明している。
  • 3D 事前知識保持損失 $\mathcal{L}_{\text{prior}}$ は、最適化中の形状の歪みや不連続性を防止し、視覚的比較で明確に確認された。
  • 3D 事前知識を用いない最適化では、CLIP 検索精度が 22% 減少した。これは、構造的初期化の重要性を強調している。
  • 本手法は、233 個のプロンプトにわたる定性的および定量的評価を通じて、多様で独創的で、高視覚的品質かつ正確な幾何的構造を持つ 3D 形状を生成した。
Figure 2 : Overview of our text-to-3D synthesis framework. (a) In the first text-to-shape stage, a fine-tuned Stable Diffusion $G_{I}$ is employed to synthesize a rendering-style image $\boldsymbol{I}_{r}$ from the input text prompt $y$ . This image is then used to generate a latent shape embedding
Figure 2 : Overview of our text-to-3D synthesis framework. (a) In the first text-to-shape stage, a fine-tuned Stable Diffusion $G_{I}$ is employed to synthesize a rendering-style image $\boldsymbol{I}_{r}$ from the input text prompt $y$ . This image is then used to generate a latent shape embedding

より良い研究を、今すぐ始めましょう

論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。

クレジットカード登録不要

このレビューはAIが作成し、人間の編集者が確認しました。