[论文解读] Attribute-aware Face Aging with Wavelet-based Generative Adversarial Networks

Yunfan Liu, Qi Li+1 more|arXiv (Cornell University)|Sep 18, 2018

Face recognition and analysis参考文献 28被引用 6

一句话总结

本文提出了一种基于小波的 GAN 框架，用于属性感知的人脸老化，通过在生成器和判别器中嵌入面部属性，减少成对缺失数据下的老化翻译过程中属性不匹配的变化。通过整合小波包变换实现多尺度纹理建模，该方法在 Morph 和 CACD 数据集上实现了最先进的身份和属性保持性能，并提升了视觉保真度。

ABSTRACT

Since it is difficult to collect face images of the same subject over a long range of age span, most existing face aging methods resort to unpaired datasets to learn age mappings. However, the matching ambiguity between young and aged face images inherent to unpaired training data may lead to unnatural changes of facial attributes during the aging process, which could not be solved by only enforcing identity consistency like most existing studies do. In this paper, we propose a attribute-aware face aging model with wavelet-based Generative Adversarial Networks (GANs) to address the above issues. To be specific, we embed facial attribute vectors into both generator and discriminator of the model to encourage each synthesized elderly face image to be faithful to the attribute of its corresponding input. In addition, a wavelet packet transform (WPT) module is incorporated to improve the visual fidelity of generated images by capturing age-related texture details at multiple scales in the frequency space. Qualitative results demonstrate the ability of our model to synthesize visually plausible face images, and extensive quantitative evaluation results show that the proposed method achieves state-of-the-art performance on existing datasets.

研究动机与目标

• 解决成对缺失的人脸老化数据集中固有的匹配模糊性问题，该问题会导致不自然的属性变化。
• 通过捕捉多尺度的年龄相关纹理细节，提升生成老化人脸的视觉保真度。
• 通过引入语义面部属性监督，克服仅依赖身份一致性来确保真实老化效果的局限性。
• 在保持身份和面部属性的同时，实现出色的年龄推进性能。

提出的方法

• 将面部属性向量嵌入生成器和判别器中，以语义属性（如性别、种族、眼镜）为条件，控制老化过程。
• 在判别器的初始层引入小波包变换（WPT）模块，以提取多尺度频域特征，增强纹理建模能力。
• 采用条件 GAN 框架，使生成器学习将年轻人脸映射为老化版本，同时保持身份和属性的一致性。
• 利用公开 API（如 Face++）提取面部属性，用于训练过程中的监督。
• 采用多尺度判别器进行对抗性训练，以提升真实感并减少伪影。
• 通过消融研究验证属性嵌入和 WPT 在减少伪影和属性漂移方面的贡献。

实验结果

研究问题

• RQ1 面部属性监督能否减少成对缺失人脸老化过程中的属性漂移？
• RQ2 通过小波包变换实现的多尺度纹理建模能否提升生成老化人脸的真实感？
• RQ3 结合属性嵌入与 WPT 是否能优于仅依赖身份约束的性能？
• RQ4 在成对缺失训练条件下，所提出的各组件在身份和属性保持方面的表现如何比较？

主要发现

• 所提方法在 Morph 数据集的 31–40 岁年龄段实现了 97.37% 的人脸验证率，优于先前的 SOTA 方法。
• 通过属性嵌入，属性保持率显著提升：在老化至 51 岁以上时，'种族'的保持率为 96.07%，'性别'的保持率为 97.21%。
• 消融研究显示，若同时移除属性嵌入和 WPT，将导致严重的伪影和错误属性（如在女性脸上添加胡须）。
• 即使在无属性嵌入的情况下，引入 WPT 也能显著减少伪影并提升视觉质量。
• 完整模型（同时包含 FAE 和 WPT）在 51+ 岁组实现了 95.86% 的验证率，'眼镜'属性的保持率为 93.22%，表明其具有强大的鲁棒性。
• 定量结果证实，仅依赖身份保持是不够的；属性监督对于解决成对缺失数据中的匹配模糊性至关重要。