[论文解读] Global and Local Consistent Age Generative Adversarial Networks

Peipei Li, Yibo Hu+3 more|arXiv (Cornell University)|Jan 25, 2018

Face recognition and analysis参考文献 23被引用 14

一句话总结

本文提出GLCA-GAN，一种新颖的生成对抗网络，用于年龄推进与回归，通过独立的全局与局部网络联合建模面部整体结构与关键面部子区域的局部纹理变化。通过学习残差面部图像并结合身份、年龄及像素级损失，该方法在多种数据集和年龄跨度下实现了高保真度、身份保持的年龄合成，显著提升了真实感与细节保留能力。

ABSTRACT

Age progression/regression is a challenging task due to the complicated and non-linear transformation in human aging process. Many researches have shown that both global and local facial features are essential for face representation, but previous GAN based methods mainly focused on the global feature in age synthesis. To utilize both global and local facial information, we propose a Global and Local Consistent Age Generative Adversarial Network (GLCA-GAN). In our generator, a global network learns the whole facial structure and simulates the aging trend of the whole face, while three crucial facial patches are progressed or regressed by three local networks aiming at imitating subtle changes of crucial facial subregions. To preserve most of the details in age-attribute-irrelevant areas, our generator learns the residual face. Moreover, we employ an identity preserving loss to better preserve the identity information, as well as age preserving loss to enhance the accuracy of age synthesis. A pixel loss is also adopted to preserve detailed facial information of the input face. Our proposed method is evaluated on three face aging datasets, i.e., CACD dataset, Morph dataset and FG-NET dataset. Experimental results show appealing performance of the proposed method by comparing with the state-of-the-art.

研究动机与目标

• 解决在保持身份与精细面部细节的前提下实现逼真年龄合成的挑战。
• 克服先前基于GAN的方法仅关注全局特征或未能有效建模老化过程中细微局部纹理变化的局限性。
• 通过学习残差面部图像而非完整人脸图像，提升训练收敛速度并增强细节保留能力。
• 在统一框架中同时实现准确的年龄推进与回归，采用条件GAN架构。
• 通过身份保持与年龄保持损失提升合成结果的保真度。

提出的方法

• 生成器采用全局网络建模整体面部结构与老化趋势，同时通过三个专用的局部网络处理关键面部子区域（如眼睛、嘴巴、面颊）的纹理变化。
• 网络学习残差面部图像——即输入图像与合成图像之间的差异——以加速训练并保留衣物、背景等与年龄无关的细节。
• 采用条件GAN框架，将目标年龄标签同时条件化于全局与局部输入，以引导生成过程。
• 应用三种辅助损失：身份保持损失以维持个体特异性特征，年龄保持损失以确保正确的年龄推进/回归，像素损失以保留精细面部细节。
• 判别器、身份分类器与年龄分类器联合训练，以提升生成人脸的真实感与一致性。
• 该框架通过年龄标签条件化，使用同一模型同时支持年龄推进（由年轻至年老）与回归（由年老至年轻）。

实验结果

研究问题

• RQ1 统一的GAN框架能否在保持身份的前提下，有效同时实现年龄推进与回归？
• RQ2 与仅依赖全局建模的方法相比，建模面部子区域如何提升年龄合成人脸的真实感？
• RQ3 学习残差面部图像在多大程度上增强细节保留能力并提升训练收敛性？
• RQ4 身份保持与年龄保持损失对合成人脸的准确性与保真度产生何种影响？
• RQ5 GLCA-GAN在处理姿态、表情与光照变化方面，相较于最先进方法表现如何？

主要发现

• 在Morph数据集中，GLCA-GAN在年龄回归（aged2簇）任务中实现了99.64%的rank-1人脸识别准确率，表明其具备强大的身份保持能力。
• 在年龄推进任务中，该方法在aged1簇上保持了97.66%的rank-1准确率，证明即使在大年龄跨度下仍具备稳健的身份保留能力。
• 消融实验表明，仅使用全局网络会导致纹理合成质量下降，证实三个局部网络在捕捉细微老化变化方面的有效性。
• 视觉对比显示，GLCA-GAN生成结果更具真实感，尤其在发质、胡须与皱纹过渡方面优于HFA、FT demo、CDL、RFA、CAAE与C-GAN。
• 该模型能有效保留背景与衣物细节，而先前方法常会改变或丢失此类信息。
• 该方法在姿态、表情与光照变化下均表现出一致且平滑的衰老过渡，显示出强大的鲁棒性。