[论文解读] Noise-Free Score Distillation

Oren Katzir, Or Patashnik+2 more|arXiv (Cornell University)|Oct 26, 2023

Generative Adversarial Networks and Image Synthesis被引用 6

一句话总结

本文提出无噪声得分蒸馏（NFSD），作为得分蒸馏采样（SDS）的简化改进方法，通过将得分函数分解为条件、领域和去噪三个部分，消除了噪声蒸馏过程。通过直接近似去噪项并使用标准Classifier-Free Guidance（CFG）尺度，NFSD在不增加计算成本的前提下，生成了更清晰、更精细的3D和图像结果，其保真度和细节保留能力优于SDS及先前方法。

ABSTRACT

Score Distillation Sampling (SDS) has emerged as the de facto approach for text-to-content generation in non-image domains. In this paper, we reexamine the SDS process and introduce a straightforward interpretation that demystifies the necessity for large Classifier-Free Guidance (CFG) scales, rooted in the distillation of an undesired noise term. Building upon our interpretation, we propose a novel Noise-Free Score Distillation (NFSD) process, which requires minimal modifications to the original SDS framework. Through this streamlined design, we achieve more effective distillation of pre-trained text-to-image diffusion models while using a nominal CFG scale. This strategic choice allows us to prevent the over-smoothing of results, ensuring that the generated data is both realistic and complies with the desired prompt. To demonstrate the efficacy of NFSD, we provide qualitative examples that compare NFSD and SDS, as well as several other methods.

研究动机与目标

• 为解决得分蒸馏采样（SDS）在非图像领域文本到内容生成中产生的过度平滑和细节丢失问题。
• 通过将得分函数重新解释为三个可解释的组成部分（条件对齐、领域校正和去噪），阐明SDS的内在机制。
• 开发一种简化且高效的SDS替代方法，避免将噪声引入生成内容。
• 通过使用标准低CFG尺度，实现高质量的文本到3D和图像生成，减少伪影并提升真实感。
• 提供一个统一且有理论依据的框架，解释并改进近期方法如VSD和DDS。

提出的方法

• 将得分函数分解为三个部分：(1) 条件对齐，(2) 领域校正，(3) 去噪，从而更清晰地理解蒸馏过程。
• NFSD显式近似去噪分量 $\delta_{\text{D}}$，同时抑制噪声项，避免其在优化过程中被蒸馏。
• 通过从SDS损失中移除与噪声相关的项，修改方法，实现无噪声引入的蒸馏，仅使用无条件和有条件得分预测。
• 该方法对原始SDS框架改动极小，保持与Stable Diffusion等现有扩散模型的兼容性。
• 使用名义CFG尺度（如7.5）替代高值（如100），防止过度平滑，同时保持对提示的准确遵循。
• 在NeRF和图像上验证了该框架，结果表明其在细节表现上优于SDS及其他基线方法，伪影更少。

实验结果

研究问题

• RQ1 尽管CFG尺度较高，SDS为何仍会产生过度平滑的结果？噪声蒸馏在该现象中起到何种作用？
• RQ2 SDS中的得分函数能否被有意义地分解为可解释的组成部分，以阐明其行为机制？
• RQ3 能否通过在蒸馏过程中显式去除噪声项，实现更优的蒸馏质量？
• RQ4 能否通过一种简化且无噪声的蒸馏方法，在更低计算成本下超越SDS及近期先进方法（如ProlificDreamer）？
• RQ5 NFSD中使用名义CFG尺度对生成结果的质量和多样性有何影响，相较于高尺度SDS？

主要发现

• 与SDS相比，NFSD生成的结果显著更清晰、更精细，尤其在细粒度结构（如蛋糕上的糖霜、鸟类翅膀的羽毛）上表现更优。
• 在基于NeRF的3D生成中，NFSD能够捕捉马鬃和雄鹰翅膀等复杂细节，而SDS即使使用高CFG值也无法重现这些特征。
• 尽管实现更简单、更快速，NFSD在性能上达到或超过ProlificDreamer、Magic3D和Fantasia3D等方法，达到最先进水平。
• 该方法避免了SDS中常见的过度平滑和过度饱和问题，即使CFG尺度低至7.5，也无需使用高CFG即可实现高质量输出，表明高CFG并非质量保证。
• 定性对比显示，NFSD减少了零星或不自然的特征（如石像鬼模型中的异常结构），生成结果更连贯、更可信。
• 所提出的得分函数分解方法提供了对SDS机制更清晰、更可解释的理解，解释了为何SDS需要高CFG，以及如何避免其使用。