[论文解读] A3GAN: An Attribute-aware Attentive Generative Adversarial Network for Face Aging

Yunfan Liu, Qi Li+2 more|arXiv (Cornell University)|Nov 15, 2019

Face recognition and analysis参考文献 50被引用 6

一句话总结

A3GAN 提出了一种属性感知的注意力 GAN 用于人脸老化，通过在生成器和判别器中嵌入面部属性以确保语义一致性，使用注意力机制聚焦于与年龄相关的区域，并应用小波包变换进行多尺度纹理建模。该方法在 MORPH 和 CACD 数据集上实现了最先进性能，显著提升了身份保留率和面部属性保真度。

ABSTRACT

Face aging, which aims at aesthetically rendering a given face to predict its future appearance, has received significant research attention in recent years. Although great progress has been achieved with the success of Generative Adversarial Networks (GANs) in synthesizing realistic images, most existing GAN-based face aging methods have two main problems: 1) unnatural changes of high-level semantic information (e.g. facial attributes) due to the insufficient utilization of prior knowledge of input faces, and 2) distortions of low-level image content including ghosting artifacts and modifications in age-irrelevant regions. In this paper, we introduce A3GAN, an Attribute-Aware Attentive face aging model to address the above issues. Facial attribute vectors are regarded as the conditional information and embedded into both the generator and discriminator, encouraging synthesized faces to be faithful to attributes of corresponding inputs. To improve the visual fidelity of generation results, we leverage the attention mechanism to restrict modifications to age-related areas and preserve image details. Moreover, the wavelet packet transform is employed to capture textural features at multiple scales in the frequency space. Extensive experimental results demonstrate the effectiveness of our model in synthesizing photorealistic aged face images and achieving state-of-the-art performance on popular face aging datasets.

研究动机与目标

• 解决由于缺乏条件监督而导致的 GAN 基人脸老化模型中不自然的面部属性变化问题。
• 减少合成老化人脸中的伪影（如鬼影）和与年龄无关的图像失真。
• 通过仅限制对与年龄相关区域的生成修改，提升视觉保真度。
• 利用小波包变换增强多尺度纹理建模，以准确捕捉老化特征（如皱纹、白发）。
• 在基准数据集上实现身份保留和面部属性一致性的最先进性能。

提出的方法

• 在生成器和判别器中整合面部属性向量作为条件输入，以在训练过程中强制实现属性一致性。
• 在生成器中应用注意力机制，将图像修改限制在与年龄相关的面部区域（如额头、面颊），从而保留非年龄相关区域的细节。
• 采用小波包变换（WPT）提取多尺度频域纹理特征，以改善老化特征的表征能力。
• 设计一个多路径判别器（WMD），在不同小波子带中处理特征，以捕捉跨尺度的判别性老化模式。
• 端到端训练模型，结合对抗损失、身份重建损失和属性一致性损失，以平衡真实感与语义保真度。
• 使用未配对的训练数据（来自不同身份的年轻和年老人脸）实现可扩展且逼真的人脸老化，无需成对的年龄匹配样本。

实验结果

研究问题

• RQ1 在未配对人脸老化设置下，面部属性嵌入是否能提升生成老化人脸的语义一致性？
• RQ2 基于注意力的图像修改定位是否能减少鬼影伪影并保留非年龄相关区域的图像细节？
• RQ3 基于小波包的多尺度特征提取是否能增强对皱纹、白发等真实老化纹理的建模？
• RQ4 所提出的多路径判别器与标准 PatchGAN 相比，在捕捉与年龄相关的视觉模式方面表现如何？
• RQ5 结合属性感知、注意力机制和多尺度特征学习，在多大程度上提升了整体人脸老化质量与保真度？

主要发现

• 所提出的 A3GAN 在 MORPH 和 CACD 数据集上实现了最先进性能，其在视觉真实感和属性一致性方面均优于先前方法。
• 移除面部属性嵌入（w/o FAE）导致面部属性保留率显著下降，尤其在‘性别’和‘种族’方面，证明其在语义保真度中的关键作用。
• 注意力机制减少了视觉失真和鬼影伪影，特别是在面部轮廓和发际区域，从而提升了人脸验证置信度和属性识别准确性。
• 基于小波的多路径判别器（WMD）缩小了真实与生成老化人脸之间的分布差距，提升了年龄估计准确率和老化特征的真实性。
• 消融实验证实，所有组件（FAE、AM、WMD）均独立且协同贡献于性能提升，完整模型实现超过 98% 的人脸验证率和高属性保留率。
• 尽管性能优异，该模型在代表性不足的族裔群体（如亚洲人、西班牙裔）以及儿童老化方面仍存在泛化局限，主要受数据偏差和样本稀缺影响。