[论文解读] Facial Aging and Rejuvenation by Conditional Multi-Adversarial Autoencoder with Ordinal Regression

Haiping Zhu, Qi Zhou+2 more|arXiv (Cornell University)|Apr 8, 2018

Face recognition and analysis参考文献 20被引用 15

一句话总结

本文提出CMAAE-OR，一种基于序数回归的条件多对抗自编码器，用于面部老化与年轻化。该方法通过利用潜在特征表示和年龄控制生成，联合优化身份保持与年龄准确性。该方法在MORPH数据集上实现了1.48的平均绝对误差（MAE），显著优于先前方法，在年龄估计准确性和照片真实感方面表现更优，同时支持任意年龄的面部合成，突破了离散年龄组的限制。

ABSTRACT

Facial aging and facial rejuvenation analyze a given face photograph to predict a future look or estimate a past look of the person. To achieve this, it is critical to preserve human identity and the corresponding aging progression and regression with high accuracy. However, existing methods cannot simultaneously handle these two objectives well. We propose a novel generative adversarial network based approach, named the Conditional Multi-Adversarial AutoEncoder with Ordinal Regression (CMAAE-OR). It utilizes an age estimation technique to control the aging accuracy and takes a high-level feature representation to preserve personalized identity. Specifically, the face is first mapped to a latent vector through a convolutional encoder. The latent vector is then projected onto the face manifold conditional on the age through a deconvolutional generator. The latent vector preserves personalized face features and the age controls facial aging and rejuvenation. A discriminator and an ordinal regression are imposed on the encoder and the generator in tandem, making the generated face images to be more photorealistic while simultaneously exhibiting desirable aging effects. Besides, a high-level feature representation is utilized to preserve personalized identity of the generated face. Experiments on two benchmark datasets demonstrate appealing performance of the proposed method over the state-of-the-art.

研究动机与目标

• 为解决面部老化与年轻化中同时保持身份一致性和实现高龄化准确性的双重挑战。
• 克服先前方法的局限性，这些方法或忽略个性化身份，或无法生成精确的年龄特定人脸。
• 实现任意目标年龄的面部图像合成，而非局限于预定义的离散年龄组。
• 通过对抗训练与序数回归，提升照片真实感与老化效果保真度。
• 在无需预处理的情况下，对输入变化（如眼镜、姿态、遮挡）保持鲁棒性。

提出的方法

• 卷积编码器从输入面部图像中提取潜在特征表示，保留个性化身份特征。
• 通过条件为目标年龄的转置卷积生成器，将潜在向量投影到人脸流形上，实现年龄可控的生成。
• 多对抗框架包含一个判别器以增强照片真实感，以及一个独立的序数回归头以强制实现准确的年龄估计。
• 模型通过四种损失组件进行训练：基于年龄距离加权的像素级重建损失、使用预训练特征嵌入的身份损失、用于真实感的GAN损失，以及用于年龄准确性的序数回归损失。
• 序数回归损失确保预测年龄正确排序且接近目标年龄，从而降低年龄估计误差。
• 通过端到端训练，框架联合优化身份保持、年龄准确性与视觉真实感。

实验结果

研究问题

• RQ1 生成模型能否在面部合成中同时实现高身份保持与准确的老化/年轻化？
• RQ2 序数回归能否在面部老化任务中超越离散年龄组预测，进一步提升年龄估计准确性？
• RQ3 将生成器条件化为连续年龄值，是否能实现比离散年龄组建模更精确、更自然的老化效果？
• RQ4 该方法对输入变化（如眼镜、非正面姿态、面部遮挡）的鲁棒性如何？
• RQ5 所提出的框架能否生成任意目标年龄的逼真人脸，而不仅限于预定义的年龄组？

主要发现

• 所提方法在MORPH数据集上实现了1.48 ± 0.39的平均绝对误差（MAE），显著优于无序数回归基线（10.42 ± 0.73）及其他SOTA方法。
• 在FGNET数据集上，该方法实现了3.62 ± 0.54的MAE，即使在更具挑战性、年龄变化更精细多样的数据集上也表现出色。
• 引入序数回归（R）显著提升了老化准确性，视觉与定量结果均显示更清晰、更分明的老化进展效果。
• 即使输入面部包含眼镜、非正面姿态或遮挡，模型仍能生成高保真度、低伪影的逼真人脸，展现出无需预处理的鲁棒性。
• 该框架可生成任意指定年龄的人脸，不仅限于离散年龄组，支持更精细、更准确的年龄预测。
• 消融研究证实，序数回归组件对降低年龄估计误差、提升生成人脸的真实感与准确性至关重要。