[论文解读] Editing in Style: Uncovering the Local Semantics of GANs

Edo Collins, Raja Bala+2 more|arXiv (Cornell University)|Apr 29, 2020

Generative Adversarial Networks and Image Synthesis参考文献 32被引用 9

一句话总结

本文提出了一种简单、无监督的方法，通过有针对性地操纵生成器的风格向量，将参考图像的风格特征转移到目标图像，实现StyleGAN生成图像中的局部语义编辑。该方法通过利用StyleGAN潜在空间中语义对象的解耦表示，实现了高度局部化和逼真的效果，且无需分割掩码或复杂的空域操作。

ABSTRACT

While the quality of GAN image synthesis has improved tremendously in recent years, our ability to control and condition the output is still limited. Focusing on StyleGAN, we introduce a simple and effective method for making local, semantically-aware edits to a target output image. This is accomplished by borrowing elements from a source image, also a GAN output, via a novel manipulation of style vectors. Our method requires neither supervision from an external model, nor involves complex spatial morphing operations. Instead, it relies on the emergent disentanglement of semantic objects that is learned by StyleGAN during its training. Semantic editing is demonstrated on GANs producing human faces, indoor scenes, cats, and cars. We measure the locality and photorealism of the edits produced by our method, and find that it accomplishes both.

研究动机与目标

• 探究StyleGAN的潜在空间中语义对象及其组成部分是否具有空间解耦表示。
• 开发一种简单、无监督的方法，仅使用预训练模型对生成的GAN图像进行局部语义编辑。
• 实现在无需外部监督的情况下，将图像部件（如眼睛、嘴巴、家具）从参考图像精确、局部地转移到目标图像。
• 在不依赖复杂空域形变或额外训练数据的情况下，评估编辑的局部性和逼真度。
• 探索通过潜在空间反演将该方法扩展至真实图像的可行性。

提出的方法

• 该方法利用StyleGAN中解耦的风格向量表示，其中每一层对应不同空间尺度下的特定语义属性。
• 通过在生成器的中间特征图上应用球面k均值聚类，识别目标图像中的感兴趣区域（ROIs）。
• 在目标图像的风格向量与参考图像的风格向量之间进行风格向量插值，使用可学习的混合系数λ来控制参考图像的影响。
• 通过从k均值聚类中导出的空间掩码，确保仅目标ROI区域被修改，同时保持整体一致性。
• 该方法使用全局操作（风格向量插值）实现局部编辑，避免了逐像素混合或空域变形。
• 该方法端到端应用，无需微调，仅依赖预训练的StyleGAN生成器及其潜在空间结构。

实验结果

研究问题

• RQ1 StyleGAN潜在空间中语义对象和组成部分的解耦程度如何？
• RQ2 是否可以通过风格向量操作在无需外部监督或空域操作的情况下实现局部语义编辑？
• RQ3 与特征融合或泊松编辑等现有方法相比，该方法的编辑局部性如何？
• RQ4 该方法在编辑图像中保持逼真度的程度如何？
• RQ5 是否可以通过潜在空间反演将该方法扩展至真实图像？

主要发现

• 该方法实现了高度局部化的编辑，目标区域外的像素变化极小，这一结果在FFHQ和LSUN-Bedrooms数据集上的In-MSE与Out-MSE分析中得到验证。
• 在FFHQ数据集中，对眼睛和嘴巴的编辑表现出强局部性，而鼻子编辑则显示出轻微的跨部件相关性，表明解耦与真实感之间存在权衡。
• 编辑后FFHQ图像的Fréchet Inception Distance（FID）为5.4，仅比基线StyleGAN的FID（4.4）略高，表明具有极强的逼真度保持能力。
• 在LSUN-Bedrooms数据集中，编辑图像的FID为4.5，与基线（2.8）相当，表明在不同图像领域中均保持了稳定的逼真度。
• 与特征融合相比，该方法在局部性方面表现更优，表现为相同In-MSE下Out-MSE更低，且无需图像对齐。
• 该方法在多种领域（包括人脸、室内场景、猫、汽车）中均表现有效，证明了其广泛适用性。