[论文解读] Age Progression and Regression with Spatial Attention Modules

Qi Li, Yunfan Liu+1 more|arXiv (Cornell University)|Mar 6, 2019

Face recognition and analysis参考文献 11被引用 6

一句话总结

本文提出一种具有双生成器和空间注意力模块的条件式生成对抗网络（cGAN）框架，可同时实现年龄增长与年龄退化。通过将衰老与年轻化建模为独立且相反的翻译任务，并利用空间注意力机制聚焦于与年龄相关的面部区域，该方法在多种真实场景条件下生成了逼真且身份保持稳定的面部图像，相比先前方法在准确性和保真度方面表现更优。

ABSTRACT

Age progression and regression refers to aesthetically render-ing a given face image to present effects of face aging and rejuvenation, respectively. Although numerous studies have been conducted in this topic, there are two major problems: 1) multiple models are usually trained to simulate different age mappings, and 2) the photo-realism of generated face images is heavily influenced by the variation of training images in terms of pose, illumination, and background. To address these issues, in this paper, we propose a framework based on conditional Generative Adversarial Networks (cGANs) to achieve age progression and regression simultaneously. Particularly, since face aging and rejuvenation are largely different in terms of image translation patterns, we model these two processes using two separate generators, each dedicated to one age changing process. In addition, we exploit spatial attention mechanisms to limit image modifications to regions closely related to age changes, so that images with high visual fidelity could be synthesized for in-the-wild cases. Experiments on multiple datasets demonstrate the ability of our model in synthesizing lifelike face images at desired ages with personalized features well preserved, and keeping age-irrelevant regions unchanged.

研究动机与目标

• 为解决现有年龄增长与退化方法的局限性，这些方法通常需要多个模型，或因姿态、光照和背景变化导致图像逼真度不足。
• 通过使用条件式生成对抗网络，将年龄增长与退化统一于单一框架中，实现衰老与年轻化效果的同时合成。
• 通过在空间注意力机制下限制对与年龄相关面部区域的修改，提升图像质量并减少伪影。
• 通过最小化复杂背景和遮挡等无关图像内容的干扰，增强对真实场景图像变化的鲁棒性。
• 在无需预训练的年龄分类器或身份特征提取器的情况下，实现高身份保持度与准确的年龄转换。

提出的方法

• 该框架采用两个独立的生成器：一个用于年龄增长（增加皱纹、加深法令纹），另一个用于年龄退化（去除皱纹、平滑皮肤），每个生成器均以目标年龄为条件。
• 在两个生成器中集成空间注意力模块，以动态突出最与年龄变化相关的区域，如眼部、额头和口周区域。
• 注意力机制将图像转换限制在这些显著区域，从而减少鬼影伪影，并保留背景和配饰等与年龄无关的特征。
• 采用条件式生成对抗网络损失，确保图像生成的真实性，通过生成器与判别器之间的对抗训练提升图像保真度。
• 训练数据按年龄排序，以促进模型收敛，并使每个生成器专精于单一方向的年龄变化（增长或退化）。
• 模型端到端训练，无需预训练的年龄分类器或身份编码器，简化了训练流程。

实验结果

研究问题

• RQ1 统一的条件式生成对抗网络框架能否有效同时实现年龄增长与退化？
• RQ2 与单模型方法相比，分别使用生成器进行衰老与年轻化是否能显著提升性能？
• RQ3 在年龄转换任务中，引入空间注意力机制在多大程度上可减少伪影并提升图像质量？
• RQ4 该模型在具有多样化姿态、光照和背景的真实场景图像上的泛化能力如何？
• RQ5 使用排序后的训练数据是否能提升模型在年龄转换任务中的收敛速度与性能？

主要发现

• 在Morph、CACD和UTKFace三个数据集上，所提方法在年龄转换准确率与身份保持度方面均达到最优性能，优于包括CAAE、IPCGAN和Dual cGAN在内的最先进方法。
• 在CACD和UTKFace数据集上，该方法的年龄转换准确率显著高于IPCGAN，后者因像素级重估与失真增加而表现下降。
• 该模型可直接生成高分辨率（256×256）图像，无需预训练的年龄分类器或身份特征提取器，简化了训练流程并提升了可复现性。
• 消融实验证实，空间注意力模块与排序输入训练对对提升性能至关重要，尤其在CACD和UTKFace等真实场景数据集上效果更显著。
• 该模型在未见数据集（如FG-NET、CelebA和IMDB-WIKI）上泛化良好，即使在年龄标签缺失或不准确时，也能保持遮挡与背景特征。
• 空间注意力机制有效抑制了鬼影伪影，确保仅对与年龄相关的区域进行修改，从而产生更自然、逼真的老化效果。