[논문 리뷰] Noise-Free Score Distillation

Oren Katzir, Or Patashnik외 2명|arXiv (Cornell University)|2023. 10. 26.

Generative Adversarial Networks and Image Synthesis인용 수 6

한 줄 요약

이 논문은 노이즈를 포함하지 않는 스코어 디스틸레이션(NFSD)을 소개한다. 이는 스코어 디스틸레이션 샘플링(SDS)의 단순화된 개선 버전으로, 노이즈 디스틸레이션을 제거하기 위해 스코어 함수를 조건, 도메인, 노이즈 제거 성분으로 분해한다. 직접적으로 노이즈 제거 항목을 근사하고, 표준 CFG 스케일을 사용함으로써 NFSD는 추가적인 계산 비용 없이도 더 선명하고 세밀한 3D 및 이미지 생성을 가능하게 하며, 정밀도와 세부 사항 유지 측면에서 SDS 및 이전 방법들을 능가한다.

ABSTRACT

Score Distillation Sampling (SDS) has emerged as the de facto approach for text-to-content generation in non-image domains. In this paper, we reexamine the SDS process and introduce a straightforward interpretation that demystifies the necessity for large Classifier-Free Guidance (CFG) scales, rooted in the distillation of an undesired noise term. Building upon our interpretation, we propose a novel Noise-Free Score Distillation (NFSD) process, which requires minimal modifications to the original SDS framework. Through this streamlined design, we achieve more effective distillation of pre-trained text-to-image diffusion models while using a nominal CFG scale. This strategic choice allows us to prevent the over-smoothing of results, ensuring that the generated data is both realistic and complies with the desired prompt. To demonstrate the efficacy of NFSD, we provide qualitative examples that compare NFSD and SDS, as well as several other methods.

연구 동기 및 목표

• 비이미지 도메인에서 텍스트 기반 콘텐츠 생성을 위한 주요 방법인 스코어 디스틸레이션 샘플링(SDS)에서 발생하는 과도한 부드러움과 세밀한 세부 사항 손실 문제를 해결하기 위해.
• 스코어 함수를 조건 일치, 도메인 보정, 노이즈 제거의 세 가지 해석 가능한 성분으로 재해석함으로써 SDS의 기본 메커니즘을 명확히 하기 위해.
• 노이즈를 생성된 콘텐츠에 디스틸레이션하는 것을 피하는 간단하고 효과적인 SDS의 대체 방법을 개발하기 위해.
• 고품질의 텍스트 기반 3D 및 이미지 생성을 표준 저수준 CFG 스케일을 사용하여 가능하게 하여 아티팩트를 줄이고 현실감을 향상시키기 위해.
• 최근의 VSD 및 DDS와 같은 방법들을 설명하고 개선할 수 있는 통합적이고 원리적인 프레임워크를 제공하기 위해.

제안 방법

• 스코어 함수를 세 성분으로 분해한다: (1) 조건 일치, (2) 도메인 보정, (3) 노이즈 제거. 이는 디스틸레이션 과정의 해석을 명확히 한다.
• NFSD는 노이즈 항목 $\delta_{\text{D}}$ 를 명시적으로 근사하면서 노이즈 항목을 억제하여 최적화 과정에 노이즈를 디스틸레이션하는 것을 방지한다.
• SDS 손실을 수정하여 노이즈 관련 항목을 제거함으로써, 노이즈를 도입하지 않고도 효과적으로 디스틸레이션을 수행하며, 무조건적 및 조건부 스코어 예측만을 사용한다.
• 기존 SDS 프레임워크에 최소한의 변경만을 가하여, 스테이블 디퓨전과 같은 기존 디퓨전 모델과의 호환성을 유지한다.
• 고값의 CFG 스케일(예: 100) 대신 표준 CFG 스케일(예: 7.5)을 사용함으로써 과도한 부드러움을 방지하면서도 프롬프트 준수를 유지한다.
• 프레임워크는 NeRF 및 이미지에서 검증되었으며, SDS 및 기타 베이스라인 대비 더 나은 세부 사항과 더 적은 아티팩트를 보여준다.

실험 결과

연구 질문

• RQ1 SDS는 고CFG 스케일을 사용함에도 불구하고 왜 과도하게 부드러운 결과를 생성하는가? 노이즈 디스틸레이션은 이 현상에서 어떤 역할을 하는가?
• RQ2 SDS의 스코어 함수는 의미 있는 해석 가능한 성분들로 분해될 수 있는가? 이는 그 행동을 명확히 하는가?
• RQ3 디스틸레이션 과정에서 노이즈 항목을 명시적으로 제거함으로써 더 뛰어난 디스틸레이션 품질을 달성할 수 있는가?
• RQ4 노이즈가 없는 간단한 디스틸레이션 방법은 SDS 및 ProlificDreamer와 같은 최신 고급 방법보다 더 낮은 계산 비용으로도 슈퍼리어한 성능을 낼 수 있는가?
• RQ5 NFSD에서 표준 CFG 스케일을 사용할 경우, 고수준 CFG 스케일을 사용하는 SDS와 비교해 생성 결과의 품질과 다양성에 어떤 영향을 미치는가?

주요 결과

• NFSD는 특히 케이크의 당도나 새의 날개에 있는 털과 같은 미세한 구조에서 SDS보다 훨씬 더 선명하고 세밀한 결과를 생성한다.
• NeRF 기반 3D 생성에서 NFSD는 말의 털이나 참새의 날개와 같은 복잡한 세부 사항을 포착하지만, 고CFG 값이라도 SDS는 이를 재현하지 못한다.
• NFSD는 더 단순하고 빠르게 구현됨에도 불구하고, ProlificDreamer, Magic3D, Fantasia3D 등의 방법들과 비교해 최신 기술 수준 또는 경쟁 가능한 성능을 달성한다.
• 높은 CFG 스케일이 필요하지 않다는 점을 입증함에 있어, 조건부 스케일이 7.5일 때조차도 SDS에서 흔히 발생하는 과도한 부드러움과 과도한 채도를 피할 수 있다.
• 정성적 비교 결과, NFSD는 갑작스럽거나 비현실적인 특징(예: 고블린 모델의 경우)을 줄여 더 통일되고 현실적인 출력을 제공한다.
• 제안된 스코어 함수 분해 방식은 SDS 메커니즘을 더 명확하고 해석 가능한 방식으로 설명하며, 왜 SDS에서 고CFG 스케일이 필요한지, 그리고 이를 어떻게 피할 수 있는지 설명한다.