[论文解读] Face Aging with Contextual Generative Adversarial Nets

Si Liu, Yao Sun+5 more|arXiv (Cornell University)|Feb 1, 2018

Face recognition and analysis参考文献 34被引用 3

一句话总结

本文提出上下文生成对抗网络（C-GANs）用于人脸老化，通过显式建模相邻年龄组之间的跨年龄过渡模式。该方法采用带有残差块的条件变换网络、年龄判别网络以及一种新型的过渡模式判别网络，生成逼真且身份保持的衰老结果，在视觉质量和跨年龄人脸识别性能方面均优于当前最先进方法。

ABSTRACT

Face aging, which renders aging faces for an input face, has attracted extensive attention in the multimedia research. Recently, several conditional Generative Adversarial Nets (GANs) based methods have achieved great success. They can generate images fitting the real face distributions conditioned on each individual age group. However, these methods fail to capture the transition patterns, e.g., the gradual shape and texture changes between adjacent age groups. In this paper, we propose a novel Contextual Generative Adversarial Nets (C-GANs) to specifically take it into consideration. The C-GANs consists of a conditional transformation network and two discriminative networks. The conditional transformation network imitates the aging procedure with several specially designed residual blocks. The age discriminative network guides the synthesized face to fit the real conditional distribution. The transition pattern discriminative network is novel, aiming to distinguish the real transition patterns with the fake ones. It serves as an extra regularization term for the conditional transformation network, ensuring the generated image pairs to fit the corresponding real transition pattern distribution. Experimental results demonstrate the proposed framework produces appealing results by comparing with the state-of-the-art and ground truth. We also observe performance gain for cross-age face verification.

研究动机与目标

• 解决现有基于GAN的人脸老化方法在建模相邻年龄组之间序列化老化过渡方面的局限性。
• 通过显式建模高阶跨年龄相关性，提升老化过程中的身份保持与外观一致性。
• 通过引入过渡模式正则化，提升生成老化人脸的逼真度。
• 通过生成更精确的老化图像，提升跨年龄人脸识别性能。
• 提供可复现的、端到端可训练的人脸老化框架，并公开发布代码。

提出的方法

• 该框架采用带有特殊设计残差块的条件变换网络，学习从源人脸到目标年龄组的映射。
• 年龄判别网络确保生成的人脸符合各个人群年龄组的真实分布。
• 引入一种新型的过渡模式判别网络，用于区分真实的衰老过渡（如形状与纹理变化）与虚假的过渡，起到正则化作用。
• 模型通过对抗损失进行端到端训练，过渡模式判别器引导生成合理的老化序列。
• 该架构基于DCGAN，无需修改即可同时支持人脸老化与回归任务。
• 通过图割与泊松融合进行后处理，将生成的人脸无缝融合到真实人脸图像中，用于定性评估。

实验结果

研究问题

• RQ1 建模相邻年龄组之间的过渡模式是否能提升生成老化人脸的逼真度与身份一致性？
• RQ2 引入专用的过渡模式判别器相较于标准GAN，对老化质量有何影响？
• RQ3 所提出的C-GANs在多大程度上能提升跨年龄人脸识别性能？
• RQ4 该模型在不同年龄范围，尤其是从儿童到老年人之间，泛化能力如何？
• RQ5 该方法能否生成在视觉上与真实图像无法区分的老化人脸？

主要发现

• C-GANs方法在视觉质量方面表现优异，生成的人脸在定性比较中几乎与真实图像无法区分。
• 过渡模式判别网络显著提升了连续年龄组之间过渡的性能，尤其在保持面部结构与纹理演变方面表现突出。
• 在FGNET数据集上，C-GANs生成的合成对的EER（等错误率）降至8.72%，优于CAAE生成对的11.05%和原始对的17.41%。
• 该方法在男性与女性受试者中均表现良好，对布拉德·皮特与秀兰·邓波等电影明星的跨十年老化模拟准确，展现出强大性能。
• 从儿童到60岁以上年龄组的过渡中性能略有下降，归因于外观差异过大，表明在极端年龄过渡方面仍有改进空间。
• 已公开源代码，支持进一步研究，提升了可复现性与社区采纳度。