[论文解读] Learning Continuous Face Age Progression: A Pyramid of GANs

Hongyu Yang, Di Huang+2 more|arXiv (Cornell University)|Jan 10, 2019

Face recognition and analysis参考文献 35被引用 4

一句话总结

该论文提出了一种金字塔GAN框架，通过解耦身份特异性特征与年龄特异性特征，联合优化面部年龄进展的高龄化准确率与身份保留。利用多尺度判别器和对抗性训练，该方法生成了逼真且连续的年龄进展序列，在MORPH和CACD数据集上分别经过约28年和23年的年龄进展后，错误接受率（FAR）为0.001%时，面部验证准确率分别达到99.88%和99.98%。

ABSTRACT

The two underlying requirements of face age progression, i.e. aging accuracy and identity permanence, are not well studied in the literature. This paper presents a novel generative adversarial network based approach to address the issues in a coupled manner. It separately models the constraints for the intrinsic subject-specific characteristics and the age-specific facial changes with respect to the elapsed time, ensuring that the generated faces present desired aging effects while simultaneously keeping personalized properties stable. To ensure photo-realistic facial details, high-level age-specific features conveyed by the synthesized face are estimated by a pyramidal adversarial discriminator at multiple scales, which simulates the aging effects with finer details. Further, an adversarial learning scheme is introduced to simultaneously train a single generator and multiple parallel discriminators, resulting in smooth continuous face aging sequences. The proposed method is applicable even in the presence of variations in pose, expression, makeup, etc., achieving remarkably vivid aging effects. Quantitative evaluations by a COTS face recognition system demonstrate that the target age distributions are accurately recovered, and 99.88% and 99.98% age progressed faces can be correctly verified at 0.001% FAR after age transformations of approximately 28 and 23 years elapsed time on the MORPH and CACD databases, respectively. Both visual and quantitative assessments show that the approach advances the state-of-the-art.

研究动机与目标

• 解决现有方法中面部年龄进展常面临的老化准确率与身份恒定性双重挑战。
• 克服先前基于GAN的方法仅关注两阶段年龄转换、难以生成平滑连续年龄进展序列的局限性。
• 在姿态、表情和化妆等变化下实现鲁棒的年龄进展，无需大量预处理或个体纵向数据。
• 通过金字塔判别器架构在多尺度上建模高层面部特征，实现逼真且细腻的年龄进展效果。
• 设计一种训练方案，通过单个生成器与多个并行判别器的联合优化，确保年龄进展的稳定与连续。

提出的方法

• 采用基于CNN的生成器，学习目标年龄分布并合成年龄进展后的面部图像，同时保留身份特异性属性。
• 将身份特异性特征（如面部结构）与年龄特异性特征（如皱纹、皮肤纹理）解耦，独立建模其随时间的演化。
• 引入一种金字塔对抗性判别器，从多尺度估计高层面部表征，实现对老化细节的精细建模。
• 设计复合判别器损失，结合像素级L1损失、与年龄相关的GAN损失以实现年龄转换，以及依赖身份的损失，以稳定身份保留。
• 实施一种对抗性学习方案，采用单个生成器与多个并行判别器，实现平滑连续的年龄进展序列。
• 推理阶段仅使用两个瞳孔关键点进行对齐，最大限度减少预处理需求，提升实际可用性。

实验结果

研究问题

• RQ1 基于GAN的框架能否在面部年龄进展中同时实现高龄化准确率与强身份保留性？
• RQ2 与单尺度或全局判别器相比，多尺度金字塔判别器在捕捉细微老化细节方面效果如何？
• RQ3 所提方法在姿态、表情和化妆变化下，能多大程度上生成连续且逼真的年龄进展序列？
• RQ4 与单判别器设置相比，所提出的多并行判别器对抗性训练方案在提升年龄进展序列质量与连续性方面有何优势？
• RQ5 该方法能否在长期年龄进展（如20年以上）中保持身份一致性与真实感而不出现性能退化？

主要发现

• 在MORPH数据库上，经过约28.61年的年龄进展后，该方法在0.001%错误接受率（FAR）下实现了99.88%的面部验证准确率。
• 在CACD数据库上，经过约23.09年的年龄进展后，99.98%的年龄进展面部图像在0.001% FAR下被正确验证。
• 人工评估显示，71.74%的观察者更偏好本方法，而仅有19.28%偏好现有方法。
• 该模型即使在姿态和表情变化下，也能生成逼真且细节丰富的老化效果，且几乎无伪影（如鬼影效应）。
• 该方法在视觉质量与定量验证指标上均优于当前最先进方法，包括Agingbooth和Face of the Future等商用工具。
• 该方法仅需极少预处理——推理时仅需两个瞳孔关键点对齐——使其在实际部署中更具实用性。