[论文解读] Learning Residual Images for Face Attribute Manipulation

Wei Shen, Rujie Liu|arXiv (Cornell University)|Dec 16, 2016

Face recognition and analysis参考文献 28被引用 11

一句话总结

本文提出一种基于生成对抗网络（GAN）的方法，通过学习残差图像（即原始图像与目标图像之间的差异），实现高效、局部化的面部属性操控，同时保留与身份相关的关键细节。通过在逆向操控（如添加和移除眼镜）之间引入双学习机制，模型提升了生成质量并保持了面部结构，经验证，移除眼镜后关键点检测准确率得到提升。

ABSTRACT

Face attributes are interesting due to their detailed description of human faces. Unlike prior researches working on attribute prediction, we address an inverse and more challenging problem called face attribute manipulation which aims at modifying a face image according to a given attribute value. Instead of manipulating the whole image, we propose to learn the corresponding residual image defined as the difference between images before and after the manipulation. In this way, the manipulation can be operated efficiently with modest pixel modification. The framework of our approach is based on the Generative Adversarial Network. It consists of two image transformation networks and a discriminative network. The transformation networks are responsible for the attribute manipulation and its dual operation and the discriminative network is used to distinguish the generated images from real images. We also apply dual learning to allow transformation networks to learn from each other. Experiments show that residual images can be effectively learned and used for attribute manipulations. The generated images remain most of the details in attribute-irrelevant areas.

研究动机与目标

• 解决面部属性操控的逆问题，即从图像出发向目标属性值进行修改，而非从图像预测属性值。
• 在属性操控过程中保留与身份相关的面部细节（如发型、皮肤纹理），避免自编码器方法或仅使用GAN方法中常见的退化现象。
• 通过聚焦于属性特定区域的残差图像学习，而非全图生成，提升学习效率与图像质量。
• 利用双学习框架，在逆向操控（如添加和移除眼镜）之间实现相互监督，提升特征一致性与真实感。
• 通过关键点检测准确率作为代理指标，对方法的有效性进行定量验证，尤其关注眼镜移除任务。

提出的方法

• 该方法将面部属性操控建模为学习残差图像，即输入图像与目标操控图像之间的像素级差异。
• 训练两个图像转换网络 G₀ 和 G₁，分别学习原始操控（如添加眼镜）与对偶操控（如移除眼镜），每个网络均输出相对于输入的残差图像。
• 最终的操控图像通过将输入图像与预测的残差图像进行逐元素相加生成。
• 一个共享的判别网络 D 将图像分为三类：来自 G₀ 生成的图像、来自 G₁ 生成的图像、具有正属性标签的真实图像，以及具有负属性标签的真实图像。
• 通过训练 G₀ 和 G₁ 相互为逆，实现双学习，使两者在训练过程中相互监督，提升特征一致性。
• 损失函数结合了对抗损失、来自双学习的循环一致性损失，以及感知损失，以保留身份相关细节并增强图像真实感。

实验结果

研究问题

• RQ1 残差图像学习是否能有效捕捉属性特定的修改，同时最小化对身份相关面部区域的影响？
• RQ2 在逆向操控（如添加和移除眼镜）之间应用双学习是否能提升生成图像的质量与一致性？
• RQ3 所提出的方法是否能在属性操控过程中有效保留面部细节（如发型与皮肤纹理），避免 VAE-GAN 方法中常见的退化现象？
• RQ4 眼镜移除在多大程度上提升了下游人脸关键点检测的准确率？该指标是否可作为操控质量的合理量化指标？
• RQ5 该方法在大角度面部姿态或罕见属性组合（如女性面部留须）等挑战性条件下是否具备鲁棒性？

主要发现

• 使用所提方法移除眼镜后，眼区域的平均归一化关键点检测误差从 0.03570（戴眼镜图像）降低至 0.03048，表明面部结构保留效果显著。
• 在操控测试集（D1_m）上的关键点检测误差与干净图像集（D0）几乎相同，表明非属性区域在操控后基本保持不变。
• 与 VAE-GAN 模型相比，所提方法在女性面部添加胡须时成功保留了原始发长，避免了因特征相关性导致的错误短发伪影。
• 失败案例主要源于大角度面部姿态，此时残差图像学习难以泛化，表明在极端姿态场景下存在局限性。
• 双学习方案显著提升了图像质量与特征一致性，表现为伪影减少，操控结果更加自然。
• 该方法实现了高保真度的属性操控，仅在像素层面发生微小变化，证实残差图像学习能有效隔离并仅修改相关面部区域。