[论文解读] Do Generative Models Know Disentanglement? Contrastive Learning is All You Need

Xuanchi Ren, Tao Yang+2 more|arXiv (Cornell University)|Feb 21, 2021

Generative Adversarial Networks and Image Synthesis参考文献 32被引用 9

一句话总结

本文提出了一种名为Disentanglement via Contrast (DisCo)的方法，这是一种模型无关的无监督方法，可在无需显式解耦正则化的前提下，从预训练的生成模型（GAN、VAE、Flow）中发现解耦表征。通过使用导航器探索潜在空间中的方向，并在变化空间中利用带有差分算子的对比编码器，DisCo 通过对比学习和基于熵的主导损失实现了当前最优的解耦性能。

ABSTRACT

Disentangled generative models are typically trained with an extra regularization term, which encourages the traversal of each latent factor to make a distinct and independent change at the cost of generation quality. When traversing the latent space of generative models trained without the disentanglement term, the generated samples show semantically meaningful change, raising the question: do generative models know disentanglement? We propose an unsupervised and model-agnostic method: Disentanglement via Contrast (DisCo) in the Variation Space. DisCo consists of: (i) a Navigator providing traversal directions in the latent space, and (ii) a $\Delta$-Contrastor composed of two shared-weight Encoders, which encode image pairs along these directions to disentangled representations respectively, and a difference operator to map the encoded representations to the Variation Space. We propose two more key techniques for DisCo: entropy-based domination loss to make the encoded representations more disentangled and the strategy of flipping hard negatives to address directions with the same semantic meaning. By optimizing the Navigator to discover disentangled directions in the latent space and Encoders to extract disentangled representations from images with Contrastive Learning, DisCo achieves the state-of-the-art disentanglement given pretrained non-disentangled generative models, including GAN, VAE, and Flow. Project page at this https URL.

研究动机与目标

• 探究预训练的生成模型是否在无显式正则化的情况下，本身具备解耦表征。
• 解决标准解耦正则化项导致的解耦性与生成质量之间的权衡问题。
• 开发一种模型无关的无监督方法，用于在非解耦生成模型的潜在空间中发现解耦方向。
• 通过对比学习提升解耦性能，且无需依赖真实因子标注。
• 通过识别并翻转语义相似的困难负样本，减轻遍历方向的语义模糊性。

提出的方法

• 导航器模块用于探索潜在空间，生成遍历方向，识别出具有语义意义的变化。
• Δ-对比器使用两个共享权重的编码器，将沿遍历方向的图像对编码为解耦表征。
• 差分算子将编码后的表征映射到变化空间，从而在语义变化上实现对比学习。
• 基于熵的主导损失通过促进表征的多样性与独立性，促使编码表征更加解耦。
• 困难负样本翻转策略通过识别并反转语义相似变化的方向，提升方法的鲁棒性。
• 该方法通过端到端的对比学习目标进行训练，实现在无监督条件下发现解耦性。

实验结果

研究问题

• RQ1 像 GAN、VAE 和流模型这样的预训练生成模型，是否在无显式解耦正则化的情况下，本身就能学习到解耦表征？
• RQ2 在变化空间中进行对比学习，是否能有效发现非解耦模型潜在空间中的解耦方向？
• RQ3 与标准对比学习目标相比，基于熵的主导损失在多大程度上提升了解耦质量？
• RQ4 困难负样本翻转策略在多大程度上增强了学习到的遍历方向的语义区分度？
• RQ5 DisCo 是否在无需微调的情况下，跨多种生成模型架构均实现了最先进（SOTA）的解耦性能？

主要发现

• DisCo 仅使用预训练的、非解耦的生成模型（如 GAN、VAE 和归一化流）在基准数据集上实现了最先进（SOTA）的解耦性能。
• 该方法无需任何监督或架构修改，成功在潜在空间中发现了语义上合理且相互独立的解耦因子。
• 基于熵的主导损失通过促进表征的多样性与独立性，显著提升了解耦质量。
• 困难负样本翻转策略有效降低了遍历方向的语义模糊性，增强了学习因子的区分度。
• DisCo 具备模型无关性，在多种生成模型架构中均表现良好，展现出广泛的适用性。
• 该方法在不微调生成模型的前提下实现了高解耦分数，同时保持了高质量的生成效果。