[论文解读] FP-Age: Leveraging Face Parsing Attention for Facial Age Estimation in the Wild

Yiming Lin, Jie Shen+2 more|arXiv (Cornell University)|Jun 21, 2021

Face recognition and analysis被引用 4

一句话总结

该论文提出FP-Age，一种新颖的面部年龄估计框架，通过利用面部分割注意力机制，显式聚焦于语义信息丰富的面部区域（如眼睛和嘴巴），即使在开放环境中的姿态和表情变化下也能保持性能。通过在预训练的面部分割网络中整合粗粒度与细粒度特征，并利用专用的面部分割注意力模块，FP-Age在IMDB-Clean及多个基准数据集上，于内部和跨数据集评估协议下均实现了最先进性能。

ABSTRACT

Image-based age estimation aims to predict a person's age from facial images. It is used in a variety of real-world applications. Although end-to-end deep models have achieved impressive results for age estimation on benchmark datasets, their performance in-the-wild still leaves much room for improvement due to the challenges caused by large variations in head pose, facial expressions, and occlusions. To address this issue, we propose a simple yet effective method to explicitly incorporate facial semantics into age estimation, so that the model would learn to correctly focus on the most informative facial components from unaligned facial images regardless of head pose and non-rigid deformation. To this end, we design a face parsing-based network to learn semantic information at different scales and a novel face parsing attention module to leverage these semantic features for age estimation. To evaluate our method on in-the-wild data, we also introduce a new challenging large-scale benchmark called IMDB-Clean. This dataset is created by semi-automatically cleaning the noisy IMDB-WIKI dataset using a constrained clustering method. Through comprehensive experiment on IMDB-Clean and other benchmark datasets, under both intra-dataset and cross-dataset evaluation protocols, we show that our method consistently outperforms all existing age estimation methods and achieves a new state-of-the-art performance. To the best of our knowledge, our work presents the first attempt of leveraging face parsing attention to achieve semantic-aware age estimation, which may be inspiring to other high level facial analysis tasks. Code and data are available on \url{https://github.com/ibug-group/fpage}.

研究动机与目标

• 在姿态、表情和遮挡变化导致模型精度下降的非约束、野外设置下，提升面部年龄估计性能。
• 显式地将面部语义信息（如眼睛、鼻子和嘴巴）融入年龄估计中，以引导注意力聚焦于更具信息量的区域。
• 通过半自动方式从IMDB-WIKI中去除噪声样本，构建一个干净、大规模的野外年龄估计基准数据集。
• 证明不同面部部位对年龄估计的贡献程度不同，其中鼻子的贡献最小。
• 通过在端到端可训练框架中结合语义特征学习与注意力机制，建立新的最先进年龄估计水平。

提出的方法

• 使用预训练的面部分割网络从输入面部图像中提取多尺度语义特征，提供面部区域的粗粒度与细粒度表征。
• 设计了一种新颖的面部分割注意力（FPA）模块，通过将高层特征与语义特征融合，动态加权并关注最具信息量的语义特征（尤其是眼睛和嘴巴周围区域）。
• 将低层次与高层次特征与学习得到的面部分割掩码拼接，形成统一表征以用于年龄预测。
• FPA模块采用可学习的注意力机制，聚合语义感知特征，在无需额外分割标注的情况下提升特征判别能力。
• 整个FP-Age网络通过标准年龄估计损失进行端到端训练，实现分割感知注意力与年龄预测的联合优化。
• 基于约束聚类的半自动数据清洗流水线被应用于IMDB-WIKI数据集，以生成新的IMDB-Clean基准数据集，降低噪声并提升数据质量。

Figure 1: FP-Age. A pre-trained face parsing framework [ 4 ] (top) is used to extract features of the target face in the input image. A lightweight network (bottom) aggregates low-level features, high-level features and face masks to predict the age. The shapes of tensors are labelled by the blocks

实验结果

研究问题

• RQ1 通过注意力机制显式建模面部语义部件是否能提升在非约束、野外设置下的年龄估计性能？
• RQ2 不同面部区域（如眼睛、嘴巴、鼻子）对年龄估计准确率的贡献如何？哪些区域最具信息量？
• RQ3 预训练的面部分割网络是否可被有效利用以提升年龄估计性能，而无需额外标注？
• RQ4 所提出的面部分割注意力机制是否能在多样化的数据集和评估协议下带来更鲁棒、更准确的年龄预测？
• RQ5 像IMDB-Clean这样的清洗后大规模基准数据集是否能带来更可靠且泛化能力更强的性能提升？

主要发现

• 在跨数据集评估下，FP-Age在IMDB-Clean数据集上实现了新的最先进平均绝对误差（MAE）5.60，显著优于先前方法。
• 在FG-Net数据集上，FP-Age的MAE为6.81，CS5得分为48.49，在跨数据集评估中超越所有先前方法。
• 统计显著性检验表明，FP-Age的性能显著优于八种对比方法（经Bonferroni校正后的p值全部小于1e-100）。
• 研究发现鼻子区域对年龄估计的贡献最小，而眼睛和嘴角区域始终对准确预测更为关键。
• 该模型在多种数据集上表现出鲁棒性，在Morph、CACD、KANFace和FG-Net数据集上，于内部和跨数据集协议下均达到最先进水平。
• 消融研究证实，面部分割注意力模块显著提升了性能，验证了其在引导注意力聚焦于语义相关面部区域方面的重要作用。

Figure 2: RoI Tanh-polar Transform [ 4 ] warps the whole image to a fix-sized representation in the Tanh-polar space with the given bounding box.