[论文解读] Inverting The Generator Of A Generative Adversarial Network (II)

Antonia Creswell, Anil A. Bharath|arXiv (Cornell University)|Feb 15, 2018

Generative Adversarial Networks and Image Synthesis参考文献 16被引用 24

一句话总结

该论文提出了一种新颖的、基于优化的方法，通过在潜在代码上使用梯度下降最小化重建损失，实现对任意预训练 GAN 生成器的反演，从而在无需训练额外编码器的情况下，实现对 GAN 表征的定性和定量分析。关键贡献在于一种可扩展、抗过拟合的反演技术，适用于任何具有可用计算图的预训练 GAN，已在 MNIST、CIFAR-10 和 Omniglot 数据集上得到验证，显著提升了重建保真度和模型比较能力。

ABSTRACT

Generative adversarial networks (GANs) learn a deep generative model that is able to synthesise novel, high-dimensional data samples. New data samples are synthesised by passing latent samples, drawn from a chosen prior distribution, through the generative model. Once trained, the latent space exhibits interesting properties, that may be useful for down stream tasks such as classification or retrieval. Unfortunately, GANs do not offer an "inverse model", a mapping from data space back to latent space, making it difficult to infer a latent representation for a given data sample. In this paper, we introduce a technique, inversion, to project data samples, specifically images, to the latent space using a pre-trained GAN. Using our proposed inversion technique, we are able to identify which attributes of a dataset a trained GAN is able to model and quantify GAN performance, based on a reconstruction loss. We demonstrate how our proposed inversion technique may be used to quantitatively compare performance of various GAN models trained on three image datasets. We provide code for all of our experiments, https://github.com/ToniCreswell/InvertingGAN.

研究动机与目标

• 为解决训练好的 GAN 中缺乏从数据空间到潜在空间的逆映射的问题，该问题限制了可解释性和下游应用。
• 开发一种无需微调或额外编码器网络即可实现预训练 GAN 生成器反演的方法。
• 提供一种诊断工具，用于评估 GAN 性能，包括过拟合和属性建模能力，基于重建误差。
• 实现对不同 GAN 架构和训练方案的定性和定量比较。

提出的方法

• 该方法将反演建模为一个最小化问题：寻找使目标图像 $ x $ 与生成器输出 $ G(z^*) $ 之间的重建损失最小化的潜在代码 $ z^* $，使用二元交叉熵损失。
• 直接在潜在代码 $ z $ 上应用梯度下降，利用预训练生成器的计算图，通过 $ G $ 反向传播梯度以更新 $ z $。
• 通过并行处理多个图像，将该方法扩展至批量推理，提升了效率。
• 该方法避免训练编码器网络，因此对过拟合具有免疫力，适用于任何具有可访问计算图的预训练 GAN。
• 反演过程通过迭代优化循环实现（算法 1），从随机 $ z $ 开始，使用梯度步长更新 $ z $ 以最小化重建误差。
• 重建误差通过原始图像与生成器输出之间的均方误差（MSE）进行度量，用于定量模型比较。

实验结果

研究问题

• RQ1 我们能否在不训练额外编码器的情况下，对预训练 GAN 生成器进行反演，以恢复给定图像的有意义潜在代码？
• RQ2 反演过程的重建误差在多大程度上反映了 GAN 的质量与泛化能力？
• RQ3 反演在多大程度上能揭示 GAN 已学习建模的属性？
• RQ4 反演能否用于对不同 GAN 架构和训练方案进行定量比较？
• RQ5 反演性能如何随分辨率和训练修改（如 WGAN 与带噪声的 GAN）而变化？

主要发现

• 所提出的反演方法成功实现了高保真度的图像重建，证明了仅通过生成器的计算图即可恢复真实图像的潜在代码。
• 当在更高分辨率图像上训练 GAN 时，重建误差几乎降低了一半，表明对细微细节的捕捉能力更强。
• 在 Omniglot 数据集上，WGAN 模型的均方误差（MSE）低于标准 GAN（带噪声），表明其过拟合程度更低。
• 该方法揭示，使用低分辨率图像训练的 GAN 即使保留了整体形状，也难以重建手写字符中的笔画等精细细节。
• 反演过程识别出某些 GAN 无法建模特定属性（如汽车的颜色），为模型局限性提供了定性洞察。
• 该方法基于重建误差，实现了对 GAN 模型的客观、定量比较，支持了先前关于 WGAN 等改进训练方案的结论。