[论文解读] Learning Disentangled Representation by Exploiting Pretrained Generative Models: A Contrastive Learning View

Xuanchi Ren, Tao Yang+2 more|arXiv (Cornell University)|Feb 21, 2021

Generative Adversarial Networks and Image Synthesis被引用 13

一句话总结

本文提出 DisCo，一种对比学习框架，利用预训练的生成模型（GAN、VAE、Flow）联合发现潜在空间中的解耦方向，并在不损害生成质量的前提下学习解耦表征。通过使用一种新型的 Δ-对比器 来建模图像变化，并结合基于熵的主导损失，DisCo 在多个基准数据集和真实世界 FFHQ 数据上均取得了最先进性能。

ABSTRACT

From the intuitive notion of disentanglement, the image variations corresponding to different factors should be distinct from each other, and the disentangled representation should reflect those variations with separate dimensions. To discover the factors and learn disentangled representation, previous methods typically leverage an extra regularization term when learning to generate realistic images. However, the term usually results in a trade-off between disentanglement and generation quality. For the generative models pretrained without any disentanglement term, the generated images show semantically meaningful variations when traversing along different directions in the latent space. Based on this observation, we argue that it is possible to mitigate the trade-off by $(i)$ leveraging the pretrained generative models with high generation quality, $(ii)$ focusing on discovering the traversal directions as factors for disentangled representation learning. To achieve this, we propose Disentaglement via Contrast (DisCo) as a framework to model the variations based on the target disentangled representations, and contrast the variations to jointly discover disentangled directions and learn disentangled representations. DisCo achieves the state-of-the-art disentangled representation learning and distinct direction discovering, given pretrained non-disentangled generative models including GAN, VAE, and Flow. Source code is at https://github.com/xrenaa/DisCo.

研究动机与目标

• 解决无监督表征学习中解耦性与生成质量之间的权衡问题。
• 仅使用预训练的、非解耦的生成模型实现解耦表征学习。
• 在预训练模型的潜在空间中发现有意义且语义可解释的因子。
• 设计一种统一的、与模型无关的解耦框架，无需微调生成器。
• 利用对比学习建模图像变化，并识别出独立的解耦方向。

提出的方法

• DisCo 使用固定的预训练生成器，并通过在已发现的潜在方向上对比图像变化，训练编码器以学习解耦表征。
• 它引入了一种新型的 Δ-对比器 模块，用于建模沿潜在方向遍历生成的图像对之间的变化，从而在图像级特征上实现对比学习。
• 该框架采用导航器（Navigator）模块在潜在空间中生成候选遍历方向，以实现因子发现。
• 应用基于熵的主导损失，通过促进潜在码的多样性，鼓励表征更加解耦。
• 采用硬负样本翻转策略，通过动态选择具有挑战性的负样本，提升对比损失的优化效果。
• 该方法与模型无关，适用于 GAN、VAE 和归一化流模型，且无需修改预训练生成器。

实验结果

研究问题

• RQ1 我们能否在不损害预训练生成模型生成质量的前提下，实现最先进水平的解耦表征学习？
• RQ2 我们能否在非解耦的预训练模型潜在空间中发现语义上合理的解耦方向？
• RQ3 如何有效应用对比学习于图像变化，以在潜在空间中发现解耦因子？
• RQ4 能否设计一种统一框架，联合学习解耦表征并发现不同类型预训练生成模型中的潜在方向？
• RQ5 在无显式正则化的情况下，对比学习设置中提升解耦性能的关键组件是什么？

主要发现

• DisCo 在三个主要基准数据集（dSprites、Cars3D、Chairs）上，所有评估指标均达到最先进解耦性能。
• 在 FFHQ 数据集上，DisCo 有效在预训练 StyleGAN 的潜在空间中发现了高质量、语义上合理的解耦方向。
• 基于熵的主导损失显著提升了解耦性，通过促进学习表征的多样性。
• 硬负样本翻转策略增强了对比学习的优化，从而得到更鲁棒、更解耦的表征。
• DisCo 在解耦质量上优于基于发现的方法以及传统的 VAE/InfoGAN 方法。
• 由于预训练生成器被冻结且未进行微调，该框架保持了高质量的图像生成性能。