[논문 리뷰] Debiasing Scores and Prompts of 2D Diffusion for View-consistent Text-to-3D Generation

Susung Hong, Donghoon Ahn외 1명|arXiv (Cornell University)|2023. 03. 27.

Advanced Vision and Imaging인용 수 5

한 줄 요약

이 논문은 2D 확산 모델 점수의 편향과 충돌하는 프롬프트 문제를 해결함으로써 제로샷 텍스트-3D 생성에서 시점 일관성을 향상시키기 위해 Debiased Score Distillation Sampling (D-SDS)를 제안한다. 동적 절단을 통한 점수 탈편향과 언어 모델 분석을 활용한 프롬프트 탈편향을 도입하여 제란의 문제와 같은 아티팩트를 감소시키며, 최소한의 오버헤드로 최신 기술 수준의 3D 일관성을 달성한다.

ABSTRACT

Existing score-distilling text-to-3D generation techniques, despite their considerable promise, often encounter the view inconsistency problem. One of the most notable issues is the Janus problem, where the most canonical view of an object ( extit{e.g}., face or head) appears in other views. In this work, we explore existing frameworks for score-distilling text-to-3D generation and identify the main causes of the view inconsistency problem -- the embedded bias of 2D diffusion models. Based on these findings, we propose two approaches to debias the score-distillation frameworks for view-consistent text-to-3D generation. Our first approach, called score debiasing, involves cutting off the score estimated by 2D diffusion models and gradually increasing the truncation value throughout the optimization process. Our second approach, called prompt debiasing, identifies conflicting words between user prompts and view prompts using a language model, and adjusts the discrepancy between view prompts and the viewing direction of an object. Our experimental results show that our methods improve the realism of the generated 3D objects by significantly reducing artifacts and achieve a good trade-off between faithfulness to the 2D diffusion models and 3D consistency with little overhead. Our project page is available at~\url{https://susunghong.github.io/Debiased-Score-Distillation-Sampling/}.

연구 동기 및 목표

• 점수 추출 기반 텍스트-3D 생성에서 시점 일관성 문제의 근본 원인, 특히 제란의 문제를 규명하는 것.
• 2D 확산 모델에 내재된 편향과 사용자-시점 프롬프트 간의 충돌하는 의미적 요소가 3D 아티팩트와 일관성 결여에 기여하는 방식을 분석하는 것.
• 3D 감독이나 추가 최적화 단계 없이도 3D 일관성을 향상시킬 수 있는 경량이면서 효과적인 방법을 개발하는 것.
• 동적 점수 및 프롬프트 탈편향을 통해 2D 충실도와 3D 구조적 일관성 사이의 더 나은 트레이드오���을 달성하는 것.

제안 방법

• 최적화 과정 중 점차 증가하는 절단 임계값을 가진 동적 점수 클리핑을 통한 점수 탈편향을 제안하며, 이는 2D 충실도와 3D 일관성 간의 균형을 맞추는 데 기여한다.
• 마스킹된 언어 모델을 활용해 사용자 프롬프트와 시점 프롬프트 간의 의미적 갈등을 탐지하고 해결하는 프롬프트 탈편향 기법을 도입한다.
• 사용자 프롬프트와 시점 프롬프트의 단어 간 상호정보량을 계산하여 모순되는 용어(예: 고양이 프롬프트에서의 '웃는')를 식별하고 완화한다.
• 카메라 포즈 할당과 더 잘 일치하도록 시점 프롬프트의 범위를 조정하여 의미적 불일치를 감소시킨다.
• 확산 모델의 노이즈 제거 과정의 자연스러운 진행 방식을 활용하는 기초에서 고도로 발전된 최적화 전략을 채택한다.
• 확산 모델의 점수 기반 설정을 활용해 디노이저 네트워크를 통해 2D 점수를 계산함으로써 기울기 기반 3D 최적화를 가능하게 한다.

Figure 1: Comparison between the baseline (SJC [ 27 ] ) and ours (Debiased Score Distillation Sampling; D-SDS). Our debiasing methods qualitatively reduce view inconsistencies in zero-shot text-to-3D generation and the so-called Janus problem .

실험 결과

연구 질문

• RQ1 2D 확산 기반 텍스트-3D 생성에서 시점 일관성 문제, 특히 제란의 문제가 발생하는 원인은 무엇인가?
• RQ2 2D 확산 모델 점수의 편향과 충돌하는 프롬프트 의미적 요소가 3D 아티팩트에 어떻게 기여하는가?
• RQ3 동적 점수 클리핑이 2D 충실도와 3D 일관성 사이의 트레이드오프를 향상시킬 수 있는가?
• RQ4 언어 모델 기반 프롬프트 탈편향이 사용자 프롬프트와 시점 프롬프트 간의 의미적 갈등을 감소시킬 수 있는가?
• RQ5 제안된 방법은 3D 감독 없이 다양한 텍스트 프롬프트에 대해 일관된 3D 생성을 달성할 수 있는가?

주요 결과

• 제안된 D-SDS 방법은 제란의 문제와 다중 얼굴, 추가 사지 등의 아티팩트를 크게 감소시킨다.
• 프롬프트 탈편향만으로도 아티팩트가 감소하지만, 추가 귀 등의 아티팩트가 여전히 존재함을 시사하며, 점수와 프롬프트 탈편향의 병합이 필요함을 시사한다.
• 정적 클리핑 대비 동적 점수 클리핑이 3D 일관성과 2D 충실도 사이의 균형을 더 잘 달성하며, 픽셀화를 피하면서도 아티팩트를 제거한다.
• 복잡하거나 모호한 프롬프트(예: '큰 손잡이가 달린 머그컵')에 대해서도 일관된 3D 객체 생성 성공률이 향상된다.
• 정성적 결과에서는 '엄청나게 웅장한 기린'이나 '라멘을 먹는 원숭이'와 같은 다양한 프롬프트에 대해 일관되고 현실적인 3D 생성을 보여준다.
• 이 방법은 프레임워크 간 일반화가 가능하며, 기준 SJC 외에도 DreamFusion, Magic3D, ProlificDreamer에서도 효과를 입증한다.

Figure 2: Illustration of our framework. We propose prompt and score debiasing techniques to estimate robust and unbiased gradients of the 3D parameters w.r.t. the viewpoints.