[논문 리뷰] DreamFusion: Text-to-3D using 2D Diffusion

Ben Poole, Ajay Jain외 2명|arXiv (Cornell University)|2022. 09. 29.

Computer Graphics and Visualization Techniques인용 수 460

한 줄 요약

DreamFusion은 텍스트로부터 NeRF 기반 3D 씬을 최적화하기 위해 사전 학습된 2D 확산 모델을 프라이어로 사용하여 3D 학습 데이터 없이도 시각 가능한 3D 객체를 가능하게 한다.

ABSTRACT

Recent breakthroughs in text-to-image synthesis have been driven by diffusion models trained on billions of image-text pairs. Adapting this approach to 3D synthesis would require large-scale datasets of labeled 3D data and efficient architectures for denoising 3D data, neither of which currently exist. In this work, we circumvent these limitations by using a pretrained 2D text-to-image diffusion model to perform text-to-3D synthesis. We introduce a loss based on probability density distillation that enables the use of a 2D diffusion model as a prior for optimization of a parametric image generator. Using this loss in a DeepDream-like procedure, we optimize a randomly-initialized 3D model (a Neural Radiance Field, or NeRF) via gradient descent such that its 2D renderings from random angles achieve a low loss. The resulting 3D model of the given text can be viewed from any angle, relit by arbitrary illumination, or composited into any 3D environment. Our approach requires no 3D training data and no modifications to the image diffusion model, demonstrating the effectiveness of pretrained image diffusion models as priors.

연구 동기 및 목표

• 사전 학습된 2D 텍스트-투-이미지 확산 모델이 3D 데이터 없이 3D 합성의 프라이어로 작용할 수 있음을 시연한다.
• 확산 모델의 프라이어와 정렬되는 3D 렌더링을 위한 미분 가능 이미지 매개화와 손실을 개발한다.
• 임의 각도 및 조명에서 볼 수 있는 일관된 3D 객체와 씬을 생성한다.
• 이 접근법이 다양한 프롬프트로 일반화되며 이전의 제로샷 텍스트-투-3D 방법과 비교해 우수하다는 것을 보인다.

제안 방법

• Fixed prior로 사전 학습된 2D 확산 모델(Imagen base 64x64)을 사용한다.
• 3D 기하학과 외관을 나타내기 위한 NeRF(mip-NeRF 360)의 형태로 미분 가능 이미지 매개화를 채택한다.
• 랜덤 카메라 자세에서 NeRF를 렌더링하고 랜덤 광원을 가진 뷰 의존 셰이딩 모델을 적용한다.
• Diffusion 모델이 예측하는 노이즈를 사용하여 SDS(Score Distillation Sampling)로 그래디언트를 계산하고 확산 모델에 대한 역전파 없이 NeRF 최적화를 방향을 제시한다.
• 약 15,000회 TPUv4에서 대형 classifier-free 가이던스 가중치(ω ≈ 100)를 사용하여 그래디언트 하강으로 NeRF 매개변수를 최적화한다.
• 뷰 의존적 프롬프트와 무작위 조명을 추가하여 기하학성과 렌더링 충실도를 향상시킨다.

실험 결과

연구 질문

• RQ1 고정된 2D 텍스트-투-이미지 확산 모델이 3D 학습 데이터 없이 제로샷 텍스트-투-3D 합성에 유효한 프라이어를 제공할 수 있는가?
• RQ2 확산 모델의 프라이어와 일치하는 일관된 렌더링을 여러 임의 뷰에서 생성하기 위해 3D NeRF를 어떻게 최적화할 수 있는가?
• RQ3 뷰 포인트의 변화, 조명, 텍스처 부재 음영이 확산-가이드 최적화 하에서 3D 기하학 품질을 향상시키는 데 어떤 역할을 하는가?
• RQ4 DreamFusion의 성능은 이미지-텍스트 프라이어를 사용하는 이전의 제로샷 3D 방법과 어떻게 비교되는가?

주요 결과

방법	R-정밀도	CLIP B/32 컬러	CLIP B/32 지오	CLIP B/16 컬러	CLIP B/16 지오	CLIP L/14 컬러	CLIP L/14 지오	GT 이미지	메모
DreamFusion	75.1	42.5	77.5	46.6	79.7	58.5	–	–	From object-centric COCO prompts; outperforms Dream Fields and CLIP-Mesh on color renders while approaching GT images.
GT 이미지	77.1	–	79.1	–	–	–	–	–	Ground-truth MS-COCO references for comparison

• DreamFusion은 사전 학습된 2D 확산 모델을 프라이어로만 사용하여 자연어 프롬프트에서 일관된 3D NeRF 씬을 생성할 수 있다.
• Score Distillation Sampling(SDS)은 역전파 없이 확산 모델을 통해 예측된 노이즈를 이용해 NeRF 매개변수 공간에서의 최적화를 가능하게 하는 간단하고 미분 가능한 손실을 제공한다.
• 반복 사이에 무작위 카메라 및 조명 샘플링은 뷰 일관된 3D 기하학을 만들어내고 재조명 및 환경 통합을 가능하게 한다.
• 텍스처 없는 음영 처리와 뷰 의존적 프롬프트는 기하학적 충실도와 프롬프트와의 CLIP 기반의 일관성을 상당히 개선한다.
• CLIP R-Precision을 사용한 정량적 평가에서 DreamFusion은 색상 렌더링에서 일부 기준선보다 앞서고 특정 프롬프트의 경우 GT 캡션에 접근하며, 기하학 중심 메트릭은 음영 및 텍스처 없는 기하학을 포함할 때 개선을 나타냈다.