[論文レビュー] DreamTime: An Improved Optimization Strategy for Diffusion-Guided 3D Generation

Yukun Huang, Jianan Wang+4 more|arXiv (Cornell University)|Jun 21, 2023

Computer Graphics and Visualization Techniques被引用数 20

ひとこと要約

本研究は Time Prioritized SDS (TP-SDS) を導入し、NeRF の最適化を拡散ステップと整合させることで、text-to-3D ジェネレーションの品質と多様性を向上させる。

ABSTRACT

Text-to-image diffusion models pre-trained on billions of image-text pairs have recently enabled 3D content creation by optimizing a randomly initialized differentiable 3D representation with score distillation. However, the optimization process suffers slow convergence and the resultant 3D models often exhibit two limitations: (a) quality concerns such as missing attributes and distorted shape and texture; (b) extremely low diversity comparing to text-guided image synthesis. In this paper, we show that the conflict between the 3D optimization process and uniform timestep sampling in score distillation is the main reason for these limitations. To resolve this conflict, we propose to prioritize timestep sampling with monotonically non-increasing functions, which aligns the 3D optimization process with the sampling process of diffusion model. Extensive experiments show that our simple redesign significantly improves 3D content creation with faster convergence, better quality and diversity.

研究の動機と目的

• Uniform timesteps sampling in SDS が 3D ジェネレーションの品質と多様性を制限する理由を特定する。
• 拡散ステップが最適化の異なる段階における情報量とどのように対応しているかを分析する。
• NeRF ガイダンスを改善する非増加・時間優先サンプリング戦略（TP-SDS）を提案する。
• TP-SDS が実験全体で高い忠実度とより多様な text-to-3D 出力を生み出すことを実証する。

提案手法

• SDS の監視と DDPM サンプリングの拮抗関係を拡散ガイド付き 3D ジェネレーションで分析する。
• NeRF 最適化の初期に大きな t を優先し後半に小さな t を適用する、非増加なタイムステップサンプリング戦略を提案する。
• 最適化ステップ i からのマッピングを介して t_i を決定する、coarse, content, detail の3段階を持つ time-prior 重み関数 w*(t) を導入する。
• 事前学習済み拡散モデルをガイダンスとして利用する実用的アルゴリズム（Algorithm 1）で TP-SDS を実装する。
• Stable Diffusion の潜在空間でレンダリングされた NeRF (Instant-NGP) を使用し、3D 一貫性のためにビュー依存のプロンプト拡張を適用する。
• 最適化を安定化させるため SDS 勾配を正規化し、疎性損失を用いた固定学習率を適用する。

実験結果

リサーチクエスチョン

• RQ1 TP-SDS は事前学習済み拡散モデルに guided された場合、従来の SDS より高品質な 3D オブジェクトを提供するか。
• RQ2 時間優先・非増加のタイムステップサンプリングは多様性を改善し、text-to-3D ジェネレーションにおけるモード崩壊を緩和するか。
• RQ3 NeRF 最適化を DDPM サンプリングと整列させることは勾配情報性と潜在的なアウト・オブ・ドメイン問題にどのように影響するか。
• RQ4 提案された w*(t) 重みの役割と粗から細への生成過程への影響は何か。

主な発見

• TP-SDS は標準 SDS よりも高品質でより多様な text-to-3D ジェネレーションを達成する。
• 非増加のタイムステップサンプリングは NeRF 最適化を DDPM のデノイズプロセスと整列させ、ミスアライメントと非効果的な監視を低減する。
• time-prior 重み関数 w*(t) は3段階（coarse, content, details）を通じた統制された粗から細へのガイダンスを可能にする。
• 勾配の可視化と周波数分析は、TP-SDS が OO D 問題を緩和し、均一な t サンプリングで観察されるモード崩壊を低減することを支持する。
• 2Dおよび3D ジェネレーションのシナリオを横断した実験は、TP-SDS の下で現実感と視点多様性の改善を示す。