[논문 리뷰] HiFA: High-fidelity Text-to-3D Generation with Advanced Diffusion Guidance

Junzhe Zhu, Peiye Zhuang외 1명|arXiv (Cornell University)|2023. 05. 30.

Generative Adversarial Networks and Image Synthesis인용 수 5

한 줄 요약

HiFA는 고해상도, 시각 일致성 있는 3D 자산을 달성하기 위해 고도화된 확산 가이던스를 사용하는 단일 단계 텍스트-3D 생성 방법을 제안한다. 잠재공간과 이미지 공간에서 사전 훈련된 텍스트-이미지 확산 모델의 노이즈 제거 점수를 희석시켜 NeRF 최적화를 이끌고, 제곱근 타임스텝 안내법, z-분산 손실 및 커널 스무딩을 도입함으로써 이중 단계 최적화 없이도 사진처럼 사실적인 기하학적으로 날카로운 3D 출력을 생성한다.

ABSTRACT

The advancements in automatic text-to-3D generation have been remarkable. Most existing methods use pre-trained text-to-image diffusion models to optimize 3D representations like Neural Radiance Fields (NeRFs) via latent-space denoising score matching. Yet, these methods often result in artifacts and inconsistencies across different views due to their suboptimal optimization approaches and limited understanding of 3D geometry. Moreover, the inherent constraints of NeRFs in rendering crisp geometry and stable textures usually lead to a two-stage optimization to attain high-resolution details. This work proposes holistic sampling and smoothing approaches to achieve high-quality text-to-3D generation, all in a single-stage optimization. We compute denoising scores in the text-to-image diffusion model's latent and image spaces. Instead of randomly sampling timesteps (also referred to as noise levels in denoising score matching), we introduce a novel timestep annealing approach that progressively reduces the sampled timestep throughout optimization. To generate high-quality renderings in a single-stage optimization, we propose regularization for the variance of z-coordinates along NeRF rays. To address texture flickering issues in NeRFs, we introduce a kernel smoothing technique that refines importance sampling weights coarse-to-fine, ensuring accurate and thorough sampling in high-density regions. Extensive experiments demonstrate the superiority of our method over previous approaches, enabling the generation of highly detailed and view-consistent 3D assets through a single-stage training process.

연구 동기 및 목표

• NeRF 및 점수 희석 기반 기존 텍스트-3D 생성 방법에서 발생하는 시각 일致성 문제와 기하학적 아티팩트를 해결하기 위해.
• 이중 단계 최적화가 필요 없이 단일 훈련 단계에서 고해상도, 사진처럼 사실적인 3D 생성을 달성하기 위해.
• 기하학적 선명도와 텍스처 안정성을 향상시키는 새로운 정규화 기법을 통해 NeRF 최적화를 개선하기 위해.
• 구조화된 타임스텝 스케줄링 전략을 활용해 잠재공간과 이미지 공간의 노이즈 제거 점수를 통합하여 확산 가이던스를 강화하기 위해.
• 동일한 프레임워크를 활용해 단일 이미지에서 고품질 3D 복원을 가능하게 하여 텍스트-3D를 초월한 응용 가능성을 확장하기 위해.

제안 방법

• 잠재공간과 이미지 공간에서 사전 훈련된 텍스트-이미지 확산 모델의 노이즈 제거 점수를 희석시켜 NeRF 최적화를 이끌기 위해.
• 최적화 과정에서 노이즈 수준을 점진적으로 감소시키는 제곱근 타임스텝 안내법을 도입하여 일관성과 품질을 향상시키기 위해.
• NeRF 레이를 따라 z좌표의 분산을 정규화하는 z-분산 손실을 제안하여 안개 같은 기하학적 구조를 감소시키고 깊이 정확도를 향상시키기 위해.
• 粗-세밀한 방식으로 중요도 샘플링 가중치를 개선하기 위해 커널 스무딩을 적용하여 NeRF 볼륨의 고밀도 영역에서의 텍스처 번짐을 완화하기 위해.
• 이미지 공간과 잠재공간의 점수 희석을 결합한 이중 감독 전략을 통해 가이던스의 정밀도를 강화하기 위해.
• 복잡한 개념의 이해도 향상과 생성을 위해 Deep Floyd IF 모델과 T5-XXL 텍스트 인코더를 활용하기 위해.

Figure 1: Examples of multiple views of 3D objects generated by from our model given text prompts (below each object).

실험 결과

연구 질문

• RQ1 이중 단계 최적화 없이 단일 단계 최적화 과정이 고성능, 시각 일치성 있는 3D 생성을 달성할 수 있는가?
• RQ2 특히 안내법 스케줄링 전략의 선택, 예를 들어 타임스텝 샘플링 전략이 생성된 3D 자산의 품질과 일관성에 어떤 영향을 미치는가?
• RQ3 z-분산 정규화와 커널 스무딩이 함께 NeRF 기하학적 선명도와 텍스처 안정성을 향상시킬 수 있는가?
• RQ4 고급 텍스트 인코더(예: T5-XXL)에서 유도된 확산 가이던스가 복잡하거나 애매한 개념의 생성에 얼마나 기여하는가?
• RQ5 동일한 프레임워크를 활용해 단일 이미지에서 고품질 3D 복원이 가능할 수 있는가? 이는 텍스트-3D 생성을 초월한 응용 가능성을 의미한다.

주요 결과

• 제곱근 타임스텝 안내법은 랜덤, 선형,余弦 안내법보다 사진처럼 사실적인 기하학적 정확도를 갖춘 3D 자산 생성에서 뛰어난 성능을 보였다.
• z-분산 손실을 제거하면 안개 같은 기하학적 구조가 발생하지만, 이를 왜곡 손실로 대체하면 외관 세부 사항과 기하학적 무결성이 떨어진다.
• 제안된 z-분산 손실은 다른 정규화 방법보다 일관되게 더 날카롭고 현실적인 기하학적 구조를 생성한다.
• 커널 스무딩은 NeRF 볼륨의 고밀도 영역에서 더 정확하고 철저한 샘플링을 가능하게 하여 텍스처 번짐을 크게 감소시켰다.
• 이 방법은 신규 시점 합성에서 최신 기술 수준의 성능을 달성했으며, 단일 이미지 3D 복원 벤치마크에서 Zero-1-to-3, Magic123, SyncDreamer와 같은 동시대의 방법들을 능가했다.
• T5-XXL를 활용한 Deep Floyd IF 모델은 '수의사 복장의 호랑이'와 같은 복잡한 개념의 생성을 향상시키며, 장우주형 다면체 문제를 해결했다.

Figure 2: Overview of our proposed method for text-to-3D generation . We aim to optimize a 3D model $g(\theta)$ using a pre-trained 2D latent diffusion prior . To achieve this, we employ a latent diffusion model for score distillation. Specifically, the diffusion model takes a rendered image $\bm{x}