Skip to main content
QUICK REVIEW

[논문 리뷰] DreamTime: An Improved Optimization Strategy for Diffusion-Guided 3D Generation

Yukun Huang, Jianan Wang|arXiv (Cornell University)|2023. 06. 21.
Computer Graphics and Visualization TechniquesComputer Science인용 수 20
한 줄 요약

논문은 Time Prioritized SDS (TP-SDS)를 도입하여 NeRF 최적화를 diffusion 타임스텝들과 맞추고, 텍스트-투-3D 생성의 품질과 다양성을 향상시킨다.

ABSTRACT

Text-to-image diffusion models pre-trained on billions of image-text pairs have recently enabled 3D content creation by optimizing a randomly initialized differentiable 3D representation with score distillation. However, the optimization process suffers slow convergence and the resultant 3D models often exhibit two limitations: (a) quality concerns such as missing attributes and distorted shape and texture; (b) extremely low diversity comparing to text-guided image synthesis. In this paper, we show that the conflict between the 3D optimization process and uniform timestep sampling in score distillation is the main reason for these limitations. To resolve this conflict, we propose to prioritize timestep sampling with monotonically non-increasing functions, which aligns the 3D optimization process with the sampling process of diffusion model. Extensive experiments show that our simple redesign significantly improves 3D content creation with faster convergence, better quality and diversity.

연구 동기 및 목표

  • SDS에서 균일한 타임스텝 샘플링이 3D 생성의 품질과 다양성을 왜 제한하는지 식별한다.
  • 다른 최적화 단계에서 확산 타임스텝이 정보 콘텐츠에 어떻게 대응하는지 분석한다.
  • NeRF 가이던스를 향상시키기 위한 비증가적이며 시간 우선 샘플링 전략(TP-SDS)을 제안한다.
  • 실험 전반에 걸쳐 TP-SDS가 더 높은 충실도와 더 다양한 텍스트-투-3D 출력을 산출함을 입증한다.

제안 방법

  • 확산 지침에 따른 3D 생성에서 SDS 감독과 DDPM 샘플링 간의 불일치를 분석한다.
  • NeRF 최적화 동안 큰 t를 먼저, 더 작은 t를 나중에 우선시하는 비증가적 타임스텝 샘플링 전략을 제안한다.
  • 세 단계(coarse, content, detail)로 구성된 시간 우선 가중치 함수 w*(t)를 도입하여 최적화 단계 i에서 매핑을 통해 t_i를 결정한다.
  • 지도 역할로 사전 학습된 확산 모델을 사용하여 실용 알고리즘(Algorithm 1)으로 TP-SDS를 구현한다.
  • Stable Diffusion의 잠재 공간에서 렌더링된 NeRF (Instant-NGP)를 활용하고 3D 일관성을 위해 시점 의존 프롬프트 증강을 적용한다.
  • SDS 그래디언트를 정규화하고 최적화를 안정시키기 위해 고정 학습률과 희소성 손실을 사용한다.

실험 결과

연구 질문

  • RQ1사전 학습된 확산 모델로 가이드될 때 TP-SDS가 일반 SDS에 비해 더 높은 품질의 3D 객체를 제공하는가?
  • RQ2시간 우선 비증가 타임스텝 샘플링이 다양성을 향상시키고 텍스트-투-3D 생성에서 모드 붕괴를 완화하는가?
  • RQ3NeRF 최적화를 DDPM 샘플링과 정렬하는 것이 그래디언트 정보성 및 잠재적 도메인 외 문제에 어떤 영향을 미치는가?
  • RQ4제안된 w*(t) 가중치의 역할과 거칠게부터 세밀하게 진행되는 생성 과정에 미치는 효과는 무엇인가?

주요 결과

  • TP-SDS는 표준 SDS보다 더 높은 품질과 더 큰 다양성을 텍스트-투-3D 생성에서 보인다.
  • 비증가적 타임스텝 샘플링은 NeRF 최적화를 DDPM 디노이징 과정과 일치시켜 불일치와 비효과적 감독을 줄인다.
  • 시간 우선 가중치 함수 w*(t)는 세 단계(coarse, content, details)를 통한 제어된 거칠게-세부 조정을 가능하게 한다.
  • 그래디언트 시각화와 주파수 분석은 TP-SDS가 OOD 문제를 완화하고 균일한 t 샘플링에서 관찰된 모드 붕괴를 감소시킨다는 것을 뒷받침한다.
  • 2D 및 3D 생성 시나리오 전반의 실험은 TP-SDS 하에서 향상된 현실감과 시점 다양성을 보여준다.

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.