[论文解读] Disentangled Representations from Non-Disentangled Models

Valentin Khrulkov, Leyla Mirvakhabova+2 more|arXiv (Cornell University)|Feb 11, 2021

Adversarial Robustness in Machine Learning参考文献 50被引用 8

一句话总结

本文提出了一种事后解耦方法，通过从预训练的生成模型（特别是StyleGAN2）中提取解耦表征，而无需在训练过程中使用解耦正则化。通过利用深度谱分析（DeepSpectral）和闭式解法（ClosedForm）等潜在空间分析技术，该方法在基准数据集上实现了最先进的解耦性能，且超参数调优极少，表明高质量GAN中的解耦因子可自然涌现。

ABSTRACT

Constructing disentangled representations is known to be a difficult task, especially in the unsupervised scenario. The dominating paradigm of unsupervised disentanglement is currently to train a generative model that separates different factors of variation in its latent space. This separation is typically enforced by training with specific regularization terms in the model's objective function. These terms, however, introduce additional hyperparameters responsible for the trade-off between disentanglement and generation quality. While tuning these hyperparameters is crucial for proper disentanglement, it is often unclear how to tune them without external supervision. This paper investigates an alternative route to disentangled representations. Namely, we propose to extract such representations from the state-of-the-art generative models trained without disentangling terms in their objectives. This paradigm of post hoc disentanglement employs little or no hyperparameters when learning representations while achieving results on par with existing state-of-the-art, as shown by comparison in terms of established disentanglement metrics, fairness, and the abstract reasoning task. All our code and models are publicly available.

研究动机与目标

• 为解决无真实因子标签时无监督解耦学习中的超参数敏感性挑战。
• 探究是否可从未使用解耦正则化的预训练生成模型中提取解耦表征。
• 开发一种事后解耦框架，避免对正则化项进行迭代超参数调优。
• 评估此类提取表征在抽象推理和公平性等下游任务中的实用性。

提出的方法

• 该方法通过识别对应于单个变化因子的潜在空间方向，从预训练的StyleGAN2生成器中提取解耦表征。
• 采用基于谱聚类的技术（DeepSpectral）识别与特定变化因子高度相关联的潜在空间方向。
• 该方法使用线性探测来估计潜在方向与真实因子之间的相关性，从而选择解耦成分。
• 采用闭式解法（ClosedForm）识别与因子具有高互信息的方向，避免迭代优化。
• 该框架具有通用性，可应用于任何具有显式潜在空间的生成模型，包括GAN、VAE和归一化流。
• 编码器在由GAN生成的合成数据上进行训练，所得表征通过标准解耦度量进行评估。

实验结果

研究问题

• RQ1 是否可有效从非解耦生成模型（如StyleGAN2）中提取解耦表征，且无需在训练期间添加额外正则化？
• RQ2 与端到端解耦模型相比，事后解耦在标准解耦度量和下游任务性能方面表现如何？
• RQ3 预训练GAN中的潜在方向在未显式引入解耦目标的情况下，其对变化因子的编码程度如何？
• RQ4 所提方法是否可在无需VAE架构或复杂超参数调优的情况下，在抽象推理和公平性基准上实现有竞争力的性能？

主要发现

• 所提事后解耦方法在所有评估数据集上均取得了与最先进方法（包括InfoStyleGAN*）相当的MIG分数。
• 在3D Shapes数据集上，DeepSpectral方法达到了最高的MIG分数，且在GAN-based方法中平均表现最佳。
• 使用WReN模型进行抽象推理任务时，该方法准确率超过95%，与SOTA VAE-based模型相当。
• 在公平性评估中，该方法产生的不公平性分数方差低于VAE-baselines，且分布与或优于先前方法。
• 结果表明，StyleGAN2的潜在空间已包含高度解耦的方向，从而减少了对辅助正则化的依赖。
• ProGAN实验中性能略低，归因于真实数据与ProGAN生成样本之间更大的分布差距。