[论文解读] Near Perfect GAN Inversion

Qianli Feng, Viraj Shah+3 more|arXiv (Cornell University)|Feb 23, 2022

Generative Adversarial Networks and Image Synthesis被引用 7

一句话总结

本文提出了一种新颖的 GAN 反演方法，通过局部微调生成器网络 $G(\cdot)$ 而非依赖固定编码器或基于优化的潜在码搜索，实现了真实图像的近乎完美重建。与最先进方法相比，该方法将 MSE 降低了一个数量级，生成的图像克隆与原图无法区分，并且可通过标准 GAN 编辑技术完全编辑。

ABSTRACT

To edit a real photo using Generative Adversarial Networks (GANs), we need a GAN inversion algorithm to identify the latent vector that perfectly reproduces it. Unfortunately, whereas existing inversion algorithms can synthesize images similar to real photos, they cannot generate the identical clones needed in most applications. Here, we derive an algorithm that achieves near perfect reconstructions of photos. Rather than relying on encoder- or optimization-based methods to find an inverse mapping on a fixed generator $G(\cdot)$, we derive an approach to locally adjust $G(\cdot)$ to more optimally represent the photos we wish to synthesize. This is done by locally tweaking the learned mapping $G(\cdot)$ s.t. $\| {\bf x} - G({\bf z}) \| 0$ a small scalar. We show that this approach can not only produce synthetic images that are indistinguishable from the real photos we wish to replicate, but that these images are readily editable. We demonstrate the effectiveness of the derived algorithm on a variety of datasets including human faces, animals, and cars, and discuss its importance for diversity and inclusion.

研究动机与目标

• 解决 GAN 反演中的根本性局限：现有方法因生成器容量固定而无法生成真实照片的精确克隆。
• 通过确保重建图像不仅是相似而是完全相同的克隆，实现对真实图像的语义编辑。
• 通过实现对代表性不足群体图像的可靠反演，提升公平性与包容性，因为这些群体的图像常因标准方法而重建效果不佳。
• 在不重新训练整个 GAN 的前提下实现近乎完美的重建，最大限度降低计算开销。

提出的方法

• 该方法通过局部调整生成器 $G(\cdot)$ 来最小化 $\|\mathbf{x} - G(\mathbf{z})\| < \epsilon$，其中 $\mathbf{x}$ 是目标真实图像，$\epsilon$ 是一个较小的阈值。
• 与优化或学习编码器 $h(\cdot)$ 的方法不同，本方法在潜在码 $\mathbf{z}$ 附近更新生成器权重，以更好地重建目标图像。
• 局部更新通过基于梯度的优化在生成器参数上执行，同时保留原始 GAN 的结构和风格迁移能力。
• 该方法使用感知损失（LPIPS）和 MSE 作为评估指标，以确保高保真度重建。
• 该方法与标准 GAN 编辑工具（如 StyleSpace 和无监督编辑方法）兼容。
• 生成器微调轻量化，每张图像仅需几分钟，无需完整重训练。

实验结果

研究问题

• RQ1 我们能否通过修改生成器而非潜在码，实现使用 GAN 反演对真实图像的近乎完美重建？
• RQ2 与基于编码器或基于优化的反演相比，局部微调生成器是否能提升重建保真度？
• RQ3 重建后的图像是否能通过标准 GAN 编辑技术实现有意义的编辑，同时保持逼真感？
• RQ4 该方法是否能在训练数据中代表性不足的群体上泛化，从而提升 GAN 应用中的多样性与包容性？

主要发现

• 在 CelebA-HQ 数据集上，该方法的平均 MSE 为 0.004 ± 0.006，比次佳方法（Projection: 0.074 ± 0.055）低了 10 倍以上。
• 在 LSUN-Horse 数据集上，该方法的 MSE 为 0.005 ± 0.009，显著优于 ReStyle（0.159 ± 0.070）和 Projection（0.240 ± 0.195）。
• 所有数据集上的 LPIPS 分数均显著更低：CelebA-HQ 上为 0.283 ± 0.050，LSUN-Horse 上为 0.141 ± 0.043，表明感知相似性更优。
• 重建图像与真实照片无法区分，且可使用标准 GAN 编辑工具（如 StyleSpace 和无监督编辑）进行编辑。
• 该方法在多种领域（包括人脸、动物和车辆）均保持高性能，展现出广泛的适用性。
• 该方法对代表性不足群体具有鲁棒性，因其不依赖于会降低分布外样本性能的数据分布假设。