[论文解读] Look Across Elapse: Disentangled Representation Learning and Photorealistic Cross-Age Face Synthesis for Age-Invariant Face Recognition

Jian Zhao, Cheng Yu+13 more|arXiv (Cornell University)|Sep 2, 2018

Face recognition and analysis被引用 11

一句话总结

该论文提出了一种统一的深度学习模型——年龄不变模型（Age-Invariant Model, AIM），通过联合进行解耦表征学习与逼真跨年龄人脸合成，以提升年龄不变人脸识别性能。通过结合解耦表征学习网络与人脸合成网络的新型架构，并进行端到端训练，AIM 在多个基准测试中实现了最先进性能——在 FG-NET 上达到 93.20% 的 rank-1 准确率，在 IJB-C 上实现 TAR@FAR=10⁻⁵ 提升 5.50%，且无需成对训练数据或真实年龄标签。

ABSTRACT

Despite the remarkable progress in face recognition related technologies, reliably recognizing faces across ages still remains a big challenge. The appearance of a human face changes substantially over time, resulting in significant intra-class variations. As opposed to current techniques for age-invariant face recognition, which either directly extract age-invariant features for recognition, or first synthesize a face that matches target age before feature extraction, we argue that it is more desirable to perform both tasks jointly so that they can leverage each other. To this end, we propose a deep Age-Invariant Model (AIM) for face recognition in the wild with three distinct novelties. First, AIM presents a novel unified deep architecture jointly performing cross-age face synthesis and recognition in a mutual boosting way. Second, AIM achieves continuous face rejuvenation/aging with remarkable photorealistic and identity-preserving properties, avoiding the requirement of paired data and the true age of testing samples. Third, we develop effective and novel training strategies for end-to-end learning the whole deep architecture, which generates powerful age-invariant face representations explicitly disentangled from the age variation. Moreover, we propose a new large-scale Cross-Age Face Recognition (CAFR) benchmark dataset to facilitate existing efforts and push the frontiers of age-invariant face recognition research. Extensive experiments on both our CAFR and several other cross-age datasets (MORPH, CACD and FG-NET) demonstrate the superiority of the proposed AIM model over the state-of-the-arts. Benchmarking our model on one of the most popular unconstrained face recognition datasets IJB-C additionally verifies the promising generalizability of AIM in recognizing faces in the wild.

研究动机与目标

• 为解决真实场景中面部外观随时间显著变化所带来的年龄不变人脸识别挑战。
• 联合学习年龄不变的面部表征并合成逼真的年龄进展或退化人脸，以相互提升识别性能。
• 消除对成对训练数据及测试样本真实年龄标注的依赖。
• 构建一个大规模、多样化的基准数据集（CAFR），以支持未来跨年龄人脸识别研究。
• 实现在无约束条件下高保真度、身份保持的持续人脸年轻化与老化。

提出的方法

• 设计一种统一的深度架构，结合解耦表征学习网络（RLN）与人脸合成网络（FSN），实现端到端训练。
• 采用基于生成对抗网络（GAN）的自编码器框架，其中 RLN 通过对抗训练将身份相关特征与年龄相关成分解耦。
• 提出一种新型训练策略，联合优化表征解耦与逼真人脸合成，无需成对数据或真实年龄标签。
• 采用多任务损失函数，结合对抗损失、重建损失与身份一致性损失，以保持身份一致性并增强真实感。
• 采用条件生成对抗网络（conditional GAN）设置，其中生成器基于潜在表征学习在目标年龄下合成人脸。
• 利用新提出的 CAFR 数据集进行数据增强与训练，提升模型鲁棒性与泛化能力。

实验结果

研究问题

• RQ1 联合学习解耦表征与逼真跨年龄人脸合成是否能显著提升年龄不变人脸识别性能？
• RQ2 统一的深度模型是否能在无需成对训练数据或真实年龄标签的情况下实现高保真度的人脸年轻化与老化？
• RQ3 解耦表征与合成组件的端到端训练在大年龄跨度下如何提升识别性能？
• RQ4 所提出的 CAFR 基准在多大程度上提升模型泛化能力并实现与最先进方法的公平比较？
• RQ5 该模型是否能有效泛化至 IJB-C 等无约束、真实场景的人脸识别任务？

主要发现

• 所提出的 AIM 在 FG-NET 基准上实现了 93.20% 的 rank-1 识别准确率，较之前最先进方法提升 5.10 个百分点。
• 在 IJB-C 基准上，AIM 实现 TAR@FAR=10⁻⁵ 为 0.826，优于第二名方法 5.50 个百分点。
• 模型在无约束数据集上表现出强大泛化能力，当使用 CAFR 数据集作为增强训练数据进行微调时，准确率提升 0.38%。
• 定性结果表明，AIM 即使在姿态、表情与遮挡等挑战性条件下，也能生成高度逼真且身份保持的人脸老化与年轻化结果。
• AIM 学习到的解耦表征明确对年龄变化具有不变性，经验证在不同年龄群体中表现一致。
• 所提出的 CAFR 数据集包含来自 10,000 名受试者的 100,000 张图像，覆盖广泛年龄范围与多样化人口特征，可支持更鲁棒、更具泛化能力的训练。