[论文解读] Learning Face Age Progression: A Pyramid Architecture of GANs

Hongyu Yang, Di Huang+2 more|arXiv (Cornell University)|Nov 28, 2017

Face recognition and analysis参考文献 39被引用 16

一句话总结

该论文提出了一种基于GAN的新型人脸年龄进展方法，采用金字塔判别器以增强年龄细节的合成效果，同时保持身份一致性。通过联合优化年龄准确性与身份稳定性，采用复合损失函数，该模型在多个基准测试中实现了最先进性能，显著提升了图像的真实感，并对姿态、表情和化妆变化具有更强的鲁棒性。

ABSTRACT

The two underlying requirements of face age progression, i.e. aging accuracy and identity permanence, are not well studied in the literature. In this paper, we present a novel generative adversarial network based approach. It separately models the constraints for the intrinsic subject-specific characteristics and the age-specific facial changes with respect to the elapsed time, ensuring that the generated faces present desired aging effects while simultaneously keeping personalized properties stable. Further, to generate more lifelike facial details, high-level age-specific features conveyed by the synthesized face are estimated by a pyramidal adversarial discriminator at multiple scales, which simulates the aging effects in a finer manner. The proposed method is applicable to diverse face samples in the presence of variations in pose, expression, makeup, etc., and remarkably vivid aging effects are achieved. Both visual fidelity and quantitative evaluations show that the approach advances the state-of-the-art.

研究动机与目标

• 解决人脸年龄进展中年龄准确性与身份一致性双重挑战。
• 克服先前基于GAN的方法在优先考虑年龄转换的同时忽视身份稳定性的局限。
• 通过在多尺度上建模高层年龄特异性特征，增强照片真实感的年龄细节。
• 通过利用数据密度估计，消除训练过程中对同一个人跨年龄组的配对数据的需求。
• 通过在年龄进展过程中包含额头和头发区域，提升真实感。

提出的方法

• 使用基于CNN的生成器学习年龄转换，同时分别建模个体特异性与年龄特异性面部属性。
• 采用复合训练判别器，结合像素级L2损失、用于年龄真实感的GAN损失以及通过高层特征嵌入实现的身份损失。
• 引入金字塔结构判别器，在多尺度上估计与年龄相关的特征，以细化年龄细节。
• 利用人脸验证网络和年龄估计网络，指导生成器在保持身份的同时应用年龄特异性变化。
• 无需同一人跨年龄组的配对训练数据，而是对目标年龄簇建模数据密度。
• 仅使用两个点进行瞳孔关键点对齐，降低预处理负担。

实验结果

研究问题

• RQ1 基于GAN的框架能否在人脸年龄进展中同时实现高年龄准确性与强身份一致性？
• RQ2 与单尺度判别器相比，金字塔判别器架构在提升年龄细节真实感与粒度方面有何优势？
• RQ3 在生成过程中包含额头和头发区域在多大程度上能提升感知到的年龄准确性？
• RQ4 该方法能否在无需配对训练数据的情况下，泛化于姿态、表情和化妆变化？
• RQ5 在年龄真实感与身份保真度方面，该方法与最先进方法相比，在定量和定性上表现如何？

主要发现

• 在MORPH数据集上，该方法的平均绝对误差（MAE）为0.79年，在CACD数据集上为0.50年，显著优于单路径判别器（分别为2.69年和2.52年MAE）。
• 人工评估显示，在1,380组两两比较中，69.78%的偏好选择本方法，表明其视觉质量更优。
• 金字塔判别器减少了伪影（如鬼影）并提升了皱纹和年龄细节的清晰度，如图8所视觉确认。
• 该方法对姿态、表情和化妆变化具有鲁棒性，如在多样化测试条件下表现一致所证实。
• 该方法在FG-NET、MORPH和CACD数据集上均达到最先进性能，优于深度学习方法及商业工具Agingbooth和Face of the Future。
• 该模型仅需两个关键点进行对齐，且无需个体内部的年龄序列数据，显著降低了数据收集负担。