[论文解读] Anti-Makeup: Learning A Bi-Level Adversarial Network for Makeup-Invariant Face Verification

Yi Li, Lingxiao Song+3 more|arXiv (Cornell University)|Sep 12, 2017

Face recognition and analysis参考文献 21被引用 10

一句话总结

本文提出了一种双层对抗性网络（BLAN），通过从化妆图像生成逼真的无妆容人脸图像，实现无妆容人脸验证。该方法在像素和特征层级采用双重对抗性损失，以在去除化妆痕迹的同时保留身份信息。该方法在三个基准数据集上实现了最先进（SOTA）的验证准确率，展现出卓越的性能和逼真的图像生成能力。

ABSTRACT

Makeup is widely used to improve facial attractiveness and is well accepted by the public. However, different makeup styles will result in significant facial appearance changes. It remains a challenging problem to match makeup and non-makeup face images. This paper proposes a learning from generation approach for makeup-invariant face verification by introducing a bi-level adversarial network (BLAN). To alleviate the negative effects from makeup, we first generate non-makeup images from makeup ones, and then use the synthesized non-makeup images for further verification. Two adversarial networks in BLAN are integrated in an end-to-end deep network, with the one on pixel level for reconstructing appealing facial images and the other on feature level for preserving identity information. These two networks jointly reduce the sensing gap between makeup and non-makeup images. Moreover, we make the generator well constrained by incorporating multiple perceptual losses. Experimental results on three benchmark makeup face datasets demonstrate that our method achieves state-of-the-art verification accuracy across makeup status and can produce photo-realistic non-makeup face images.

研究动机与目标

• 为解决由化妆引起的显著外观变化带来的面部验证挑战。
• 开发一种从生成中学习的框架，通过从化妆图像合成无妆容人脸，提升验证的鲁棒性。
• 在去除化妆痕迹的同时，保留身份信息并生成感知上逼真的图像。
• 整合双层对抗性训练（像素级与特征级），以缩小化妆与无妆容人脸之间的感知差距。
• 通过多种感知损失（边缘、对称性、身份一致性）约束生成器，以提升图像保真度与身份保留能力。

提出的方法

• 该框架采用生成器网络，通过双层对抗性训练方案，将化妆人脸图像映射为无妆容对应图像。
• 像素级判别器用于区分真实无妆容图像与生成图像，以促进图像的逼真质量。
• 特征级判别器确保生成图像的深层特征与真实无妆容图像的特征相匹配，从而保留身份信息。
• 生成器通过多种重建损失进行训练：L1损失、边缘损失（L_edg）、对称性损失（L_sym）以及一致性损失（L_cons-f），以保持结构保真度。
• 特征级对抗性损失（L_Df）应用于识别主干网络的特征空间，以在生成过程中增强身份保留能力。
• 整个网络端到端联合训练，同时优化图像生成与验证性能。

实验结果

研究问题

• RQ1 生成式框架能否有效缩小由化妆变化引起的面部验证性能差距？
• RQ2 在从化妆图像合成无妆容人脸图像的过程中，如何保留身份信息？
• RQ3 双层对抗性训练（像素级与特征级）在提升图像真实感与验证准确率方面有何贡献？
• RQ4 多种感知损失（边缘、对称性、身份一致性）如何影响生成无妆容人脸的质量与保真度？
• RQ5 化妆数据集规模有限且多样性不足，对模型泛化能力与性能的影响有多大？

主要发现

• BLAN在数据集1上实现了94.8%的Rank-1验证准确率，优于所有消融实验变体，确立了最先进性能。
• 移除特征级对抗性损失（L_Df）导致准确率最大降幅（降至89.6%），凸显其在身份保留中的关键作用。
• 若缺少一致性损失（L_cons-f），准确率显著下降18.3%（降至76.5%），证实其在维持身份一致性方面的重要性。
• 边缘损失与对称性损失显著提升了图像质量，减少了生成图像中的不自然伪影。
• 该模型可生成逼真的无妆容人脸图像，但部分模糊现象仍存在，原因在于L1损失及训练数据有限。
• 在FAM数据集中，男性受试者的性能较低，原因在于训练样本较少且化妆与无妆容外观差异较窄。