[论文解读] AttGAN: Facial Attribute Editing by Only Changing What You Want

Zhenliang He, Wangmeng Zuo+3 more|arXiv (Cornell University)|Nov 29, 2017

Generative Adversarial Networks and Image Synthesis被引用 41

一句话总结

AttGAN 提出了一种新颖的面部属性编辑框架，通过在生成图像上施加属性分类而非对潜在表征施加约束，避免了对潜在表征的限制，从而确保仅修改所需属性。通过结合属性分类、重建损失和对抗性训练，AttGAN 在 CelebA 数据集上实现了最先进的属性编辑效果，保持了高保真度的细节和卓越的视觉质量。

ABSTRACT

Facial attribute editing aims to manipulate single or multiple attributes of a face image, i.e., to generate a new face with desired attributes while preserving other details. Recently, generative adversarial net (GAN) and encoder-decoder architecture are usually incorporated to handle this task with promising results. Based on the encoder-decoder architecture, facial attribute editing is achieved by decoding the latent representation of the given face conditioned on the desired attributes. Some existing methods attempt to establish an attribute-independent latent representation for further attribute editing. However, such attribute-independent constraint on the latent representation is excessive because it restricts the capacity of the latent representation and may result in information loss, leading to over-smooth and distorted generation. Instead of imposing constraints on the latent representation, in this work we apply an attribute classification constraint to the generated image to just guarantee the correct change of desired attributes, i.e., to "change what you want". Meanwhile, the reconstruction learning is introduced to preserve attribute-excluding details, in other words, to "only change what you want". Besides, the adversarial learning is employed for visually realistic editing. These three components cooperate with each other forming an effective framework for high quality facial attribute editing, referred as AttGAN. Furthermore, our method is also directly applicable for attribute intensity control and can be naturally extended for attribute style manipulation. Experiments on CelebA dataset show that our method outperforms the state-of-the-arts on realistic attribute editing with facial details well preserved.

研究动机与目标

• 为了解决现有方法对潜在表征施加属性无关约束的局限性，这种约束会限制表征能力并导致信息丢失。
• 开发一种面部属性编辑方法，确保仅修改所需属性，同时保留所有其他面部细节（身份、光照、背景）。
• 通过整合三种互补的学习组件——属性分类、重建和对抗性训练——来提升编辑质量和真实性。
• 实现对属性强度控制的直接应用，并自然扩展至属性风格操作。

提出的方法

• 该方法采用编码器-解码器架构，其中编码器将人脸图像映射为潜在码，解码器则基于潜在码和期望属性生成新图像。
• 在生成图像上应用属性分类头，以强制实现正确的属性操作，确保‘只改变你想要的’。
• 在输入图像与生成图像之间应用重建损失，以保留不包含属性的细节，确保‘只改变你想要的’。
• 使用对抗性训练以增强生成图像的视觉真实感，提升感知质量。
• 三种组件——属性分类、重建和对抗性学习——在统一框架中联合优化。
• 模型通过联合损失函数端到端训练，该损失函数平衡了所有三个组件。

实验结果

研究问题

• RQ1 对潜在表征施加属性独立性是否因表征能力受限而降低属性编辑性能？
• RQ2 能否通过在生成图像上分类属性而非约束潜在表征，实现准确的属性编辑？
• RQ3 属性分类、重建和对抗性学习的结合在编辑过程中对保留面部身份和细节的有效性如何？
• RQ4 所提方法是否可直接应用于属性强度控制，并可扩展至属性风格操作？

主要发现

• 在 CelebA 数据集上，AttGAN 在编辑准确率、视觉质量和非目标属性细节保留方面均优于最先进方法。
• 消融研究显示，若移除任意一个组件（属性分类、重建或对抗性损失），性能均显著下降，证实了三者必要性。
• 重建损失对于保留身份和最小化伪影至关重要；若无重建损失，人脸身份会显著改变并出现伪影。
• Fader Networks 和 IcGAN 中使用的属性无关约束会导致信息丢失并降低结果质量，证明其不适合高质量编辑。
• 与基线方法相比，AttGAN 在编辑准确率和编辑误差方面表现更优，尤其在保留非目标属性方面优势明显。
• 该方法可直接应用于属性强度控制，且在属性风格操作方面具有潜力，但对高度多变风格（如绘画）的性能有限。