[论文解读] InfoGAN-CR: Disentangling Generative Adversarial Networks with Contrastive Regularizers

Zinan Lin, Kiran Koshy Thekumparampil+2 more|arXiv (Cornell University)|Jun 14, 2019

Generative Adversarial Networks and Image Synthesis被引用 17

一句话总结

本文提出 InfoGAN-CR，一种基于对比正则化的自监督方法，通过受潜在空间遍历启发的对比正则化器，训练解耦生成对抗网络，在无需真实标签的情况下实现了最先进水平的解耦性能。此外，本文提出 ModelCentrality，一种无监督模型选择方法，通过合成样本的中位数识别高性能模型，实现在无真实标签情况下有效的超参数调优。

ABSTRACT

Disentangled generative models map a latent code vector to a target space, while enforcing that a subset of the learned latent codes are interpretable and associated with distinct properties of the target distribution. Recent advances have been dominated by Variational AutoEncoder (VAE)-based methods, while training disentangled generative adversarial networks (GANs) remains challenging. In this work, we show that the dominant challenges facing disentangled GANs can be mitigated through the use of self-supervision. We make two main contributions: first, we design a novel approach for training disentangled GANs with self-supervision. We propose contrastive regularizer, which is inspired by a natural notion of disentanglement: latent traversal. This achieves higher disentanglement scores than state-of-the-art VAE- and GAN-based approaches. Second, we propose an unsupervised model selection scheme called ModelCentrality, which uses generated synthetic samples to compute the medoid (multi-dimensional generalization of median) of a collection of models. The current common practice of hyper-parameter tuning requires using ground-truths samples, each labelled with known perfect disentangled latent codes. As real datasets are not equipped with such labels, we propose an unsupervised model selection scheme and show that it finds a model close to the best one, for both VAEs and GANs. Combining contrastive regularization with ModelCentrality, we improve upon the state-of-the-art disentanglement scores significantly, without accessing the supervised data.

研究动机与目标

• 解决尽管变分自编码器（VAE）方法取得进展，训练解耦生成对抗网络（GAN）仍具挑战性的问题。
• 开发一种自监督对比正则化器，通过利用潜在空间遍历的自然概念来强制实现解耦。
• 通过引入一种无监督模型选择方法 ModelCentrality，消除对真实标签在超参数调优中的依赖。
• 在无监督标注数据的情况下，于基准数据集上实现卓越的解耦性能。

提出的方法

• 提出一种对比正则化器，基于潜在空间遍历原理，在训练过程中通过对比潜在码的扰动来促进解耦。
• 使用一种对比损失函数，将正样本（同一潜在码的小幅扰动）拉近，同时将负样本（距离较远或无关的码）推开。
• 在 GAN 框架中应用该对比正则化器，训练生成器以生成解耦样本，同时保持高保真度的生成能力。
• 提出 ModelCentrality，一种无监督模型选择技术，通过计算多个模型生成的合成样本集合的中位数（多维中位数）来实现。
• 利用合成样本的中位数识别出最接近最优解耦表征的模型，从而实现在无真实标签情况下的超参数选择。
• 将对比正则化器与 ModelCentrality 结合，实现端到端的自监督解耦 GAN 训练与选择。

实验结果

研究问题

• RQ1 基于潜在空间遍历的对比正则化器是否能在无需真实标签的情况下提升 GAN 的解耦性能？
• RQ2 与有监督基线相比，所提出的 ModelCentrality 方法在识别高性能解耦模型方面的有效性如何？
• RQ3 对比正则化与无监督模型选择的结合是否能超越当前最先进的基于 VAE 和 GAN 的解耦方法？
• RQ4 在缺乏标注数据的情况下，自监督方法在多大程度上可缓解训练解耦 GAN 的挑战？

主要发现

• InfoGAN-CR 在基准数据集上实现了最先进水平的解耦得分，优于当前最先进的基于 VAE 和 GAN 的方法。
• 对比正则化器通过促进有意义且可解释的潜在空间遍历，显著提升了模型的解耦性能。
• ModelCentrality 在无真实标签的情况下成功识别出接近最优解耦配置的模型。
• 对比正则化与 ModelCentrality 的结合，使在完全无监督设置下实现有效的超参数调优成为可能。
• 该方法在不依赖任何有监督数据的情况下实现了卓越的解耦性能，充分展示了自监督在表征学习中的强大能力。