[论文解读] Inverting The Generator Of A Generative Adversarial Network

Antonia Creswell, Anil A. Bharath|arXiv (Cornell University)|Nov 17, 2016

Generative Adversarial Networks and Image Synthesis被引用 13

一句话总结

该论文提出一种方法，通过在生成器的计算图上使用梯度下降优化潜在代码 $ z $，以重建给定图像，从而实现对预训练 GAN 生成器的反演。该方法在 MNIST 上成功保留了身份和风格，并实现了对未见 Omniglot 字符的零样本投影至潜在空间，展示了无需正则化的高质量重建效果。

ABSTRACT

Generative adversarial networks (GANs) learn to synthesise new samples from a high-dimensional distribution by passing samples drawn from a latent space through a generative network. When the high-dimensional distribution describes images of a particular data set, the network should learn to generate visually similar image samples for latent variables that are close to each other in the latent space. For tasks such as image retrieval and image classification, it may be useful to exploit the arrangement of the latent space by projecting images into it, and using this as a representation for discriminative tasks. GANs often consist of multiple layers of non-linear computations, making them very difficult to invert. This paper introduces techniques for projecting image samples into the latent space using any pre-trained GAN, provided that the computational graph is available. We evaluate these techniques on both MNIST digits and Omniglot handwritten characters. In the case of MNIST digits, we show that projections into the latent space maintain information about the style and the identity of the digit. In the case of Omniglot characters, we show that even characters from alphabets that have not been seen during training may be projected well into the latent space; this suggests that this approach may have applications in one-shot learning.

研究动机与目标

• 实现对预训练 GAN 生成器的反演，无需微调即可将图像映射回其潜在空间表示。
• 在反演过程中保留手写数字的身份与风格，改进先前方法在保持这些属性方面表现不佳的问题。
• 证明未见字符类别（如未见过的字母表中的字符）可被投影至潜在空间，表明其在少样本学习中的潜力。
• 表明正则化并非实现高质量反演的必要条件，从而提升该方法在现有 GAN 中的适用性。

提出的方法

• 通过在 $ z $ 上使用梯度下降最小化重建损失 $ L = -\text{cross-entropy}(x, G(z)) $ 来反演生成器。
• 通过从先验分布 $ P_z(Z) $ 中采样初始化 $ z $，然后通过 $ z^* \text{←} z^* - \alpha \nabla_z L $ 迭代更新 $ z $。
• 通过生成器的计算图反向传播计算 $ z $ 的梯度，实现端到端优化。
• 通过联合反演图像批次来处理批量归一化问题，当单样本反演因批量统计信息而失败时尤为有效。
• 将裁剪和正则化作为可选技术以提升稳定性，但实验表明其并非必需。
• 支持批量反演以提升计算效率，并确保与批量归一化 GAN 的兼容性。

实验结果

研究问题

• RQ1 我们能否在不微调的情况下，对预训练 GAN 生成器进行反演，以恢复给定图像 $ x $ 的有意义潜在码 $ z $？
• RQ2 所提出的反演方法是否能在 MNIST 中成功保留手写数字的身份与风格？
• RQ3 该方法能否泛化至 Omniglot 中未见过的字母表字符，表明其在少样本学习中的潜力？
• RQ4 正则化是否为实现高质量反演所必需，还是直接优化已足够？
• RQ5 批量归一化如何影响反演的可行性与实现方式？

主要发现

• 在 MNIST 上，所提出的反演方法成功保留了数字的身份与书写风格，优于先前无法保持这些属性的方法。
• MNIST 上的重建误差低至 0.027（使用均匀先验，无裁剪或正则化），表明重建质量极高。
• 在 Omniglot 上，即使是对未见过字母表的字符，该方法在无正则化条件下也实现了 0.020 的重建误差。
• 结果表明正则化无法提升反演性能，且非必需，说明该方法具有鲁棒性与泛化能力。
• 批量反演可行且高效，尤其适用于批量归一化 GAN，因为单样本反演在此类模型中不稳定。
• 潜在空间同时编码了身份与风格，且该方法实现了对未见字符类别的零样本投影，支持其在少样本学习中的潜在应用。