[论文解读] DisDiff: Unsupervised Disentanglement of Diffusion Probabilistic Models

Tao Yang, Yuwang Wang+2 more|arXiv (Cornell University)|Jan 31, 2023

Topic Modeling被引用 6

一句话总结

本文提出DisDiff，一种无监督框架，通过在无标注条件下学习解耦表征，将预训练的扩散概率模型（DPMs）解耦为特定因子的子梯度场。该方法结合分类器引导与一种新型解耦损失，实现可解释的、因子特定的图像生成与部分条件采样，在合成数据集和真实世界数据集上均达到最先进水平的解耦性能。

ABSTRACT

Targeting to understand the underlying explainable factors behind observations and modeling the conditional generation process on these factors, we connect disentangled representation learning to Diffusion Probabilistic Models (DPMs) to take advantage of the remarkable modeling ability of DPMs. We propose a new task, disentanglement of (DPMs): given a pre-trained DPM, without any annotations of the factors, the task is to automatically discover the inherent factors behind the observations and disentangle the gradient fields of DPM into sub-gradient fields, each conditioned on the representation of each discovered factor. With disentangled DPMs, those inherent factors can be automatically discovered, explicitly represented, and clearly injected into the diffusion process via the sub-gradient fields. To tackle this task, we devise an unsupervised approach named DisDiff, achieving disentangled representation learning in the framework of DPMs. Extensive experiments on synthetic and real-world datasets demonstrate the effectiveness of DisDiff.

研究动机与目标

• 为解决扩散概率模型（DPMs）中缺乏解耦表征学习的问题，尽管其在图像生成方面表现极为出色。
• 实现无监督发现图像数据中潜在语义因子，无需人工标注监督。
• 将DPM的梯度场分解为子梯度场，每个子梯度场由一个解耦因子表征条件化，以实现可解释与可控的生成。
• 克服基于VAE与GAN的解耦方法的局限性，如解耦性与生成质量之间的权衡，或GAN中对反演的依赖。
• 通过在扩散过程的所有时间步上强制实施解耦约束，引入一种新型归纳偏置。

提出的方法

• DisDiff使用编码器从扩散过程中的输入图像中学习潜在因子的解耦表征。
• 它使用解码器学习特定因子的子梯度场，每个子梯度场由单一发现因子的表征条件化。
• 一种新型解耦损失通过鼓励因子特定的表征，同时确保输入图像的重建，来强制实现解耦。
• 该方法应用分类器引导与基于得分的条件化，将因子特定的条件注入扩散过程。
• 采用加权损失方案，其中不同时间步间编码器输出的差异作为动态加权系数，以平衡解耦与重建。
• 使用可学习的正交位置嵌入以在条件化过程中区分不同因子，提升解耦稳定性。

Figure 2: Illustration of DisDiff. (a) Grey networks indicate the pre-trained Unet of DPM $\epsilon_{\theta}(x_{t},t)$ . Image $x_{0}$ is first encoded to representations $\{z^{1},z^{2},\dots z^{N}\}$ of different factors by encoder $E_{\phi}$ ( $N=3$ in the figure), which are then decoded by decode

实验结果

研究问题

• RQ1 预训练的DPM能否在无监督条件下被解耦为特定因子的子梯度场？
• RQ2 能否在无需任何人工标注标签或预训练分类器的情况下学习到解耦表征？
• RQ3 在扩散过程的所有时间步上强制实施解耦约束，是否能提升解耦质量与生成可控性？
• RQ4 通过叠加选定的子梯度场，能否有效实现部分条件采样——即仅对部分因子进行条件化？
• RQ5 与现有的基于VAE和GAN的解耦方法相比，DisDiff在解耦质量与生成保真度方面表现如何？

主要发现

• DisDiff在无需任何标注的情况下，在合成数据集（Shapes3D）和真实世界数据集（CelebA）上均实现了最先进水平的解耦性能。
• 该方法通过仅叠加选定的子梯度场，实现了部分条件采样，从而可对单个因子（如物体颜色或背景）实现控制。
• 消融实验表明，使用编码器输出在不同时间步间的差异作为加权系数，能显著提升解耦性能，优于固定或基于损失的加权方式。
• 与无位置嵌入或标准可学习嵌入相比，使用可学习的正交位置嵌入能进一步提升解耦性能。
• 交叉注意力层略微降低性能，可能是因为每个因子仅使用单个标记导致表示能力有限。
• 当潜在向量数量超过潜在因子数量时，其数量对性能影响极小，表明对超参数选择具有鲁棒性。

Figure 3: The qualitative results on Shapes3D and CelebA. The source (SRC) images provide the representations of the generated image. The target (TRT) image provides the representation for swapping. Other images are generated by swapping the representation of the corresponding factor. The learned fa