[논문 리뷰] Text-to-3D with Classifier Score Distillation

Xin Yu, Yuan-Chen Guo외 4명|arXiv (Cornell University)|2023. 10. 30.

Generative Adversarial Networks and Image Synthesis인용 수 8

한 줄 요약

논문은 Classifier Score Distillation (CSD)를 제안하며, 분류기 점수 구성요소만으로 텍스트-3D 생성이 가능함을 보이고, 3D 생성, 텍스처 합성 및 편집에서 최첨단 성과를 입증한다.

ABSTRACT

Text-to-3D generation has made remarkable progress recently, particularly with methods based on Score Distillation Sampling (SDS) that leverages pre-trained 2D diffusion models. While the usage of classifier-free guidance is well acknowledged to be crucial for successful optimization, it is considered an auxiliary trick rather than the most essential component. In this paper, we re-evaluate the role of classifier-free guidance in score distillation and discover a surprising finding: the guidance alone is enough for effective text-to-3D generation tasks. We name this method Classifier Score Distillation (CSD), which can be interpreted as using an implicit classification model for generation. This new perspective reveals new insights for understanding existing techniques. We validate the effectiveness of CSD across a variety of text-to-3D tasks including shape generation, texture synthesis, and shape editing, achieving results superior to those of state-of-the-art methods. Our project page is https://xinyu-andy.github.io/Classifier-Score-Distillation

연구 동기 및 목표

• 텍스트-3D 생성을 위한 점수 증류에서 classifier-free guidance (CFG)의 역할을 재평가한다.
• 생성 사전(generative prior)에 의존하지 않고도 분류기 구성요소가 3D 합성을 주도할 수 있음을 보인다.
• NeRF/메시 생성 및 텍스처 합성을 위한 SDS의 실용적 대안으로 CSD를 개발한다.
• 어닐링된 음수 프롬프트 및 텍스트-가이드 편집과 같은 개선을 CSD 프레임워크 내에서 탐구한다.

제안 방법

• 암시적 확산 분류기에서 파생된 분류기 점수 항만을 사용하여 3D 장면을 최적화하는 Classifier Score Distillation (CSD)를 공식화한다.
• SDS 기울기를 생성 사전 및 분류기 점수 구성요소로 분해하여 CFG 하에서 분류기 항의 우위를 보인다.
• CSD 내에 어닐링된 음수 프롬프트를 도입하여 양의 및 음의 분류기 점수를 공동으로 최적화하고 텍스처 품질과 프롬프트 충실도 향상을 도모한다.
• 속성을 목표로 하여 편집하고 정렬(얼라인먼트)과 충실도의 균형을 유지하는 방식으로 프롬프트를 바꿔 텍스트-가이드 3D 편집으로 CSD를 확장한다.
• Variational Score Distillation (VSD)와의 연결 고리를 논의하고 음수 프롬프트를 분류기 점수 기반 가이드로 해석한다.

Figure 2: Qualitative comparisons to baselines for text-to-3D generation. Our method can generate 3D scenes that align well with input text prompts with realistic and detailed appearances.

실험 결과

연구 질문

• RQ1 생성 사전 없이도 확산 모델의 암시적 분류기를 통해 얻은 분류기 점수만으로 고품질의 텍스트-3D 생성을 주도할 수 있는가?
• RQ2 CSD에서 음수 프롬프트와 그 어닐링이 프롬프트 충실도와 텍스처 품질 사이의 균형에 어떤 영향을 미치는가?
• RQ3 순수 생성 그 이상으로 텍스처 합성 및 3D 편집에 CSD를 효과적으로 적용할 수 있는가?
• RQ4 실무 및 이론적으로 CSD와 기존의 SDS/VSD 프레임워크 간의 관계는 어떠한가?

주요 결과

• 분류기 점수 가이던스만으로도 효과적인 텍스트-3D 생성을 주도할 수 있으며, SDS 기반 방법과 경쟁적으로 또는 그보다 우수한 성과를 보인다.
• 적절히 어닐링된 음수 프롬프트는 텍스처 품질과 대상 프롬프트에 대한 충실도를 향상시키면서 정렬을 유지한다.
• CSD는 3D 메시에 대한 텍스트 가이드 텍스처 합성에서 경쟁력 있는 결과를 제공하며 artefact 감소와 지역/전역 일관성 향상을 보인다.
• CSD는 대상 설명으로 렌더링 출력을 유도하고 원하지 않는 속성으로부터 벗어나 텍스트 기반의 3D 편집을 효과적으로 지원한다.
• 실험 결과는 강한 주관적 및 정량적 성능을 보여주며, baselines보다 CSD를 선호하는 사용자 연구가 포함된다.

Figure 3: Qualitative comparisons to baselines for text-guided texture synthesis on 3D meshes. Our method generates more detailed and photo-realistic textures.