[논문 리뷰] ProlificDreamer: High-Fidelity and Diverse Text-to-3D Generation with Variational Score Distillation

Zhengyi Wang, Cheng Lu외 5명|arXiv (Cornell University)|2023. 05. 25.

Generative Adversarial Networks and Image Synthesis인용 수 159

한 줄 요약

ProlificDreamer는 Variational Score Distillation (VSD)을 도입합니다. 이는 3D 매개변수를 분포로 취급하는 파티클 기반의 변분 프레임워크로, 고충실도와 다양성을 갖춘 텍스트-3D 생성을 달성하고 SDS를 능가합니다.

ABSTRACT

Score distillation sampling (SDS) has shown great promise in text-to-3D generation by distilling pretrained large-scale text-to-image diffusion models, but suffers from over-saturation, over-smoothing, and low-diversity problems. In this work, we propose to model the 3D parameter as a random variable instead of a constant as in SDS and present variational score distillation (VSD), a principled particle-based variational framework to explain and address the aforementioned issues in text-to-3D generation. We show that SDS is a special case of VSD and leads to poor samples with both small and large CFG weights. In comparison, VSD works well with various CFG weights as ancestral sampling from diffusion models and simultaneously improves the diversity and sample quality with a common CFG weight (i.e., $7.5$). We further present various improvements in the design space for text-to-3D such as distillation time schedule and density initialization, which are orthogonal to the distillation algorithm yet not well explored. Our overall approach, dubbed ProlificDreamer, can generate high rendering resolution (i.e., $512 imes512$) and high-fidelity NeRF with rich structure and complex effects (e.g., smoke and drops). Further, initialized from NeRF, meshes fine-tuned by VSD are meticulously detailed and photo-realistic. Project page and codes: https://ml.cs.tsinghua.edu.cn/prolificdreamer/

연구 동기 및 목표

• 추가 형상 가이드나 보조 모델 없이 고충실도이고 다양한 텍스트-3D 생성을 가능하게 하고 동기를 부여합니다.
• 과다 채도, 과도한 매끄러움 및 낮은 다양성 등 SDS의 한계를 다룹니다.
• SDS의 한계를 설명하고 CFG 설정 전반에서 샘플 품질을 개선하는 원칙적 변분 프레임워크(VSD)를 제안합니다.
• 렌더링 해상도, 증류 시간 스케줄, 장면 초기화 같은 디자인 공간 요소를 탐구하여 3D 품질을 극대화합니다.

제안 방법

• 텍스트 프롬프트를 주어진 3D 표현들의 분포로 정의합니다. 소음이 있는 렌더링 이미지와 사전 학습된 확산 모델 간의 KL 발산을 통해 보여 분포 mu를 최적화합니다(확산 시간 t 전반의 변분 점수 증류).
• mu를 파티클 집합 {theta_i}로 표현하고(최대 n=4), 파티클에 대한 Wasserstein 그래디언트 흐름 업데이트를 도출합니다(식 7).
• 렌더링된 이미지에서 학습된 점수 모델 epsilon_phi를 사용하여 소음이 있는 렌더링 이미지의 점수를 추정하고 효율성을 위해 LoRA로 매개화합니다. 식 (Eq. 9)으로 VSD 그래디언트를 역전파하여 파티클을 업데이트하며 theta_i와 epsilon_phi의 교대 업데이트를 수행합니다.
• SDS를 디랙 분포를 갖는 VSD의 특수한 경우로 보여주고, 다양성과 충실도 감소를 설명합니다.
• 시각적 품질을 향상시키기 위해 두 단계의 어닐링 시간 스케줄과 고해상도 학습(512x512)을 구현합니다.

실험 결과

연구 질문

• RQ1 텍스트로부터의 3D 콘텐츠 생성을 분포적(변분) 형태로 다루면 단일 점 SDS보다 다양성과 충실도를 향상시킬 수 있을까요?
• RQ2 확산 시간 어닐링, 더 높은 렌더링 해상도, 그리고 장면 초기화의 도입이 텍스트-투-3D 품질에 어떤 영향을 미칠까요?
• RQ3 VSD에서 고품질 샘플을 가능하게 하는 CFG 설정은 무엇이며, 프롬프트와 장면 전반에서 SDS와 어떻게 비교되나요?
• RQ4 SDS가 VSD의 특수한 경우로 회복 가능한가요, 그리고 매개 변수화된 점수 함수를 학습하는 것이 일반화에 도움이 되나요?
• RQ5 추가 형태 가이드 없이도 VSD가 복잡한 360도 장면과 고충실도 NeRF 및 질감이 있는 메시를 텍스트로 생성할 수 있나요?

주요 결과

• VSD는 충실도와 다양성 전반에서 SDS를 능가하며, 2D 및 3D 테스트에서 공통 CFG(7.5)로 현실적인 샘플을 달성합니다.
• SDS는 VSD의 특수한 경우로 보여져 샘플 다양성과 품질의 한계를 설명합니다.
• ProlificDreamer는 풍부한 구조와 효과를 갖춘 고해상도(512×512) NeRF를 제공하고, 텍스트 프롬프트로 360° 장면을 가능하게 합니다.
• 복잡한 장면과 대규모 환경에서 품질을 크게 향상시키는 두 단계 학습 및 장면 초기화 전략.
• VSD에 의해 안내된 메시 미세 조정은 SDS 기반 접근법에 비해 더 자세하고 사진 실감나는 질감을 산출합니다.