[論文レビュー] HiFA: High-fidelity Text-to-3D Generation with Advanced Diffusion Guidance

Junzhe Zhu, Peiye Zhuang+1 more|arXiv (Cornell University)|May 30, 2023

Generative Adversarial Networks and Image Synthesis被引用数 5

ひとこと要約

HiFAは、高精細で視点一貫性のある3Dアセットを実現するため、高度な拡散ガイドラインを用いた単一段階のテキストから3Dへの生成手法を提案する。潜在空間および画像空間の両方で事前学習済みのテキストから画像への拡散モデルからのノイズ除去スコアを蒸留し、平方根タイムステップの緩和を採用するとともに、NeRF最適化のためのz-分散損失とカーネルスムージングを導入することで、二段階の最適化を必要とせず、写真のようにリアルで幾何学的に鋭い3D出力を生成する。

ABSTRACT

The advancements in automatic text-to-3D generation have been remarkable. Most existing methods use pre-trained text-to-image diffusion models to optimize 3D representations like Neural Radiance Fields (NeRFs) via latent-space denoising score matching. Yet, these methods often result in artifacts and inconsistencies across different views due to their suboptimal optimization approaches and limited understanding of 3D geometry. Moreover, the inherent constraints of NeRFs in rendering crisp geometry and stable textures usually lead to a two-stage optimization to attain high-resolution details. This work proposes holistic sampling and smoothing approaches to achieve high-quality text-to-3D generation, all in a single-stage optimization. We compute denoising scores in the text-to-image diffusion model's latent and image spaces. Instead of randomly sampling timesteps (also referred to as noise levels in denoising score matching), we introduce a novel timestep annealing approach that progressively reduces the sampled timestep throughout optimization. To generate high-quality renderings in a single-stage optimization, we propose regularization for the variance of z-coordinates along NeRF rays. To address texture flickering issues in NeRFs, we introduce a kernel smoothing technique that refines importance sampling weights coarse-to-fine, ensuring accurate and thorough sampling in high-density regions. Extensive experiments demonstrate the superiority of our method over previous approaches, enabling the generation of highly detailed and view-consistent 3D assets through a single-stage training process.

研究の動機と目的

• NeRFとスコア蒸留に基づく既存のテキストから3Dへの生成手法における視点の不一致および幾何的アーチファクトを克服すること。
• 二段階の最適化を排除し、1つの学習段階で高解像度かつ写真のようにリアルな3D生成を達成すること。
• 幾何学的明瞭性とテクスチャ安定性を向上させる新しい正則化技術を用いてNeRF最適化を改善すること。
• 構造的なタイムステップスケジューリング戦略を用いて、潜在空間および画像空間の両方のノイズ除去スコアを活用することで、拡散ガイドラインを強化すること。
• 同じフレームワークを用いて単一画像からの高品質な3D再構築を可能にし、テキストから3Dへの生成を超えた応用可能性を拡張すること。

提案手法

• 潜在空間および画像空間の両方で、事前学習済みのテキストから画像への拡散モデルからのノイズ除去スコアを蒸留し、NeRF最適化をガイドする。
• 最適化中にノイズレベルを段階的に低下させる平方根タイムステップの緩和スケジュールを導入し、一貫性と品質を向上させる。
• NeRFの光線に沿ったz座標の分散を正則化するz-分散損失を提案し、曇った幾何学的形状の低減と深度の正確性向上を図る。
• 粗くから細かくまで順次な重要度サンプリング重みの修正をカーネルスムージングで実施し、NeRFボリュームの高密度領域におけるテクスチャのちらつきを軽減する。
• 画像空間と潜在空間の両方のスコア蒸留を組み合わせた二重監視戦略を採用し、ガイドラインの忠実度を強化する。
• より洗練された意味理解と複雑な概念の生成を実現するため、T5-XXLテキストエンコーダーを搭載したDeep Floyd IFモデルを活用する。

Figure 1: Examples of multiple views of 3D objects generated by from our model given text prompts (below each object).

実験結果

リサーチクエスチョン

• RQ1 二段階の最適化を必要とせず、単一段階の最適化プロセスで高精細で視点一貫性のある3D生成を達成できるか？
• RQ2 特に緩和スケジュールを含むタイムステップサンプリング戦略の選択が、生成された3Dアセットの品質および一貫性にどのように影響するか？
• RQ3 z-分散正則化とカーネルスムージングを併用することで、NeRFの幾何学的シャープネスとテクスチャ安定性が向上するか？
• RQ4 高度なテキストエンコーダー（例：T5-XXL）からの拡散ガイドラインは、複雑または曖昧な概念の生成をどの程度向上できるか？
• RQ5 同じフレームワークを用いて、単一画像からの高品質な3D再構築が可能か。これは、テキストから3Dへの生成を超えた応用拡張を可能にするか？

主な発見

• 平方根タイムステップの緩和スケジュールは、ランダム、線形、余弦緩和と比較して、写真のようにリアルで幾何学的に正確な3Dアセットの生成において優れた性能を示す。
• z-分散損失を削除すると曇った不一致のある幾何学的形状が生じるが、歪み損失に置き換えると外観の詳細と幾何学的整合性が損なわれる。
• 提案されたz-分散損失は、代替の正則化手法と比較して一貫してより鋭く現実的である幾何学的形状を生成する。
• カーネルスムージングは、NeRFボリュームの高密度領域におけるより正確かつ包括的なサンプリングを可能にし、テクスチャのちらつきを顕著に低減する。
• 本手法は、単一画像3D再構築ベンチマークにおいて、Zero-1-to-3、Magic123、SyncDreamerといった同時期の手法を上回る最先端のパフォーマンスを達成する。
• T5-XXLを搭載したDeep Floyd IFモデルを用いることで、『医者に扮したトラ』のような複雑な概念の生成が向上し、ジャナス型の多顔問題も解消される。

Figure 2: Overview of our proposed method for text-to-3D generation . We aim to optimize a 3D model $g(\theta)$ using a pre-trained 2D latent diffusion prior . To achieve this, we employ a latent diffusion model for score distillation. Specifically, the diffusion model takes a rendered image $\bm{x}