[论文解读] In-Domain GAN Inversion for Real Image Editing

Jiapeng Zhu, Yujun Shen+2 more|arXiv (Cornell University)|Mar 31, 2020

Generative Adversarial Networks and Image Synthesis参考文献 55被引用 8

一句话总结

本文提出了一种域内 GAN 反演方法，通过训练一个域引导编码器并在优化过程中将其作为正则化项，确保反演的潜在代码在语义上具有意义。该方法在像素级重建和语义编辑性能方面均有所提升，在人脸编辑、插值和语义扩散任务中显著优于当前最先进方法。

ABSTRACT

Recent work has shown that a variety of semantics emerge in the latent space of Generative Adversarial Networks (GANs) when being trained to synthesize images. However, it is difficult to use these learned semantics for real image editing. A common practice of feeding a real image to a trained GAN generator is to invert it back to a latent code. However, existing inversion methods typically focus on reconstructing the target image by pixel values yet fail to land the inverted code in the semantic domain of the original latent space. As a result, the reconstructed image cannot well support semantic editing through varying the inverted code. To solve this problem, we propose an in-domain GAN inversion approach, which not only faithfully reconstructs the input image but also ensures the inverted code to be semantically meaningful for editing. We first learn a novel domain-guided encoder to project a given image to the native latent space of GANs. We then propose domain-regularized optimization by involving the encoder as a regularizer to fine-tune the code produced by the encoder and better recover the target image. Extensive experiments suggest that our inversion method achieves satisfying real image reconstruction and more importantly facilitates various image editing tasks, significantly outperforming start-of-the-arts.

研究动机与目标

• 解决现有 GAN 反演方法过于注重像素级重建而忽视反演代码语义意义的问题。
• 确保反演的潜在代码位于原始 GAN 潜在空间的语义域内，以实现有效编辑。
• 通过重用预训练 GAN 并使用语义对齐的潜在代码，实现多功能的真实图像编辑。
• 探究域内代码是否在图像操作方面优于像素优化的代码。
• 开发一种在潜在空间中平衡高保真度重建与语义一致性的方法。

提出的方法

• 训练一个域引导编码器，将真实图像映射到预训练 GAN 的潜在空间，确保所有编码后的代码均处于域内。
• 通过将训练好的编码器作为正则化项，执行域正则化优化，以精炼反演代码。
• 优化目标结合了像素级重建损失和一个域正则化项，以促使反演代码与编码器输出对齐。
• 该方法采用 MSE 损失与域正则化项的加权组合，其中超参数 λdom 控制重建与语义保真度之间的权衡。
• 通过实例级优化实现逐图像应用，无需微调 GAN 即可实现高质量反演。
• 该框架支持多种编辑任务，如属性操作、线性插值和语义扩散。

实验结果

研究问题

• RQ1 GAN 反演能否生成不仅在像素层面具有重建性，而且在语义上也具有意义的潜在代码？
• RQ2 将反演代码与原始 GAN 潜在空间对齐，是否能提升下游图像编辑能力？
• RQ3 通过学习的编码器实现的域正则化，如何影响重建质量与语义一致性的权衡？
• RQ4 单个预训练 GAN 模型能否通过域内反演支持多样图像域（如人脸、动物、场景）的编辑？
• RQ5 在属性迁移和语义扩散等语义编辑任务中，域内反演是否优于标准基于优化的反演方法？

主要发现

• 所提出的域内反演方法在平衡像素精度与语义保真度时，相比最先进方法实现了更优的图像重建质量。
• 该方法实现了高质量的语义编辑，例如属性操作（如添加眼镜），结果比基线方法更自然、更一致。
• 在反演代码之间进行线性插值可产生更平滑、更具语义一致性的过渡，表明潜在空间结构得到改善。
• 语义扩散结果表明，该方法能成功保持身份特征，并将目标人脸自然地融入多样化场景，同时保持真实感与兼容性。
• 消融实验表明，增加域正则化权重（λdom）可提升语义编辑性能，但伴随轻微的重建质量下降，验证了权衡设计的有效性。
• 该方法具有良好的泛化能力：即使在使用人脸生成 GAN 时处理域外图像（如卧室和猫脸），也能生成语义上有意义的代码，而基线方法则无法保持结构语义。