[论文解读] Fader Networks: Manipulating Images by Sliding Attributes

Guillaume Lample, Neil Zeghidour+4 more|arXiv (Cornell University)|Jun 1, 2017

Generative Adversarial Networks and Image Synthesis参考文献 26被引用 278

一句话总结

Fader Networks 通过对潜在表示进行对抗训练，学习一个属性不变的潜在空间，使通过向解码器输入不同属性值实现连续的属性控制图像编辑。

ABSTRACT

This paper introduces a new encoder-decoder architecture that is trained to reconstruct images by disentangling the salient information of the image and the values of attributes directly in the latent space. As a result, after training, our model can generate different realistic versions of an input image by varying the attribute values. By using continuous attribute values, we can choose how much a specific attribute is perceivable in the generated image. This property could allow for applications where users can modify an image using sliding knobs, like faders on a mixing console, to change the facial expression of a portrait, or to update the color of some objects. Compared to the state-of-the-art which mostly relies on training adversarial networks in pixel space by altering attribute values at train time, our approach results in much simpler training schemes and nicely scales to multiple attributes. We present evidence that our model can significantly change the perceived value of the attributes while preserving the naturalness of images.

研究动机与目标

• 激发并定义一种通过改变属性值在没有成对变换示例的情况下操纵图像的方法。
• 在潜在空间中将显著的图像信息与属性值解耦，以实现可控的生成。
• 开发一个编码-解码器架构，在潜在空间通过对抗方式强制实现属性不变性。
• 展示可扩展的多属性编辑，且重建质量高于像素空间对抗方法。

提出的方法

• 使用编码器 E(theta_enc) 将输入图像 x 编码为潜在表示 z。
• 使用 D(theta_dec)(z, y') 解码重构图像，其中 y' 是目标属性向量。
• 通过对抗训练使 z 的属性不变性得到保证，判别器试图从 E(x) 预测 y。
• 最小化重建损失 L_AE = x 与 D(E(x), y) 之间的均方误差，以确保真实重建。
• 训练编码器以欺骗判别器，同时实现准确重建，使潜在空间对 y 不变但通过 y 能提供重建信息。

实验结果

研究问题

• RQ1 在保持对指定属性不变的同时，是否能够学习到对这些属性不变的潜在表示，并仍然实现准确的图像重建和属性控制生成？
• RQ2 推断阶段的连续属性值是否会产生真实、自然的编辑，同时保持身份和图像质量？
• RQ3 这一潜在空间对抗方法与像素空间对抗方法在多属性编辑方面的比较如何？
• RQ4 该方法能扩展到多属性和更高分辨率的图像吗？

主要发现

• 该模型在不交换属性的情况下产生高质量、自然的重建（FadNet AE），在自然度和交换准确性方面优于像素空间对抗基线。
• FadNet Swap 在多个属性（如 Mouth、Glasses、Smile）上实现高属性交换准确性，感知真实度显著优于 IcGAN Swap。
• 潜在空间对属性不变，允许在解码时通过改变 y' 进行受控编辑，同时保持身份。
• 该方法支持多属性编辑并扩展到高分辨率图像，在重建和编辑质量方面超过了许多像素空间对抗方法。
• 定量的人工评估显示 Fader Networks 在自然度和跨多个属性的交换有效性方面优于基线。