[论文解读] Fine-Grained Age Estimation in the wild with Attention LSTM Networks

Ke Zhang, Na Liu‎+5 more|arXiv (Cornell University)|May 26, 2018

Face recognition and analysis参考文献 60被引用 17

一句话总结

该论文提出了一种注意力LSTM网络（AL-ResNets和AL-RoR），通过结合ResNets/RoR的全局特征与注意力驱动LSTM单元提取的局部、年龄敏感区域特征，在无约束（野生）设置下的细粒度年龄估计多个基准数据集上实现了最先进性能。

ABSTRACT

Age estimation from a single face image has been an essential task in the field of human-computer interaction and computer vision, which has a wide range of practical application values. Accuracy of age estimation of face images in the wild is relatively low for existing methods, because they only take into account the global features, while neglecting the fine-grained features of age-sensitive areas. We propose a novel method based on our attention long short-term memory (AL) network for fine-grained age estimation in the wild, inspired by the fine-grained categories and the visual attention mechanism. This method combines the residual networks (ResNets) or the residual network of residual network (RoR) models with LSTM units to construct AL-ResNets or AL-RoR networks to extract local features of age-sensitive regions, which effectively improves the age estimation accuracy. First, a ResNets or a RoR model pretrained on ImageNet dataset is selected as the basic model, which is then fine-tuned on the IMDB-WIKI-101 dataset for age estimation. Then, we fine-tune the ResNets or the RoR on the target age datasets to extract the global features of face images. To extract the local features of age-sensitive regions, the LSTM unit is then presented to obtain the coordinates of the agesensitive region automatically. Finally, the age group classification is conducted directly on the Adience dataset, and age-regression experiments are performed by the Deep EXpectation algorithm (DEX) on MORPH Album 2, FG-NET and 15/16LAP datasets. By combining the global and the local features, we obtain our final prediction results. Experimental results illustrate the effectiveness and robustness of the proposed AL-ResNets or AL-RoR for age estimation in the wild, where it achieves better state-of-the-art performance than all other convolutional neural network.

研究动机与目标

• 解决仅依赖全局特征导致在无约束人脸图像中年龄估计准确率低下的问题。
• 通过注意力机制自动定位判别性面部特征，克服现有数据集中缺乏标注的年龄敏感区域的问题。
• 通过融合预训练ResNets或RoR的全局特征与注意力驱动LSTM单元提取的局部特征，提升年龄估计性能。
• 在具有不同年龄分布和图像质量的多样化真实世界数据集上，验证所提方法的有效性。
• 提供一种新颖的端到端细粒度年龄估计框架，无需人工部件标注。

提出的方法

• 在ImageNet上预训练ResNet或RoR模型以学习通用特征，随后在IMDB-WIKI-101数据集上微调，以提取特定年龄的特征。
• 将单个LSTM单元集成到主干网络（AL-ResNet或AL-RoR）中，学习空间注意力图，以突出显示皱纹、白发等年龄敏感区域。
• 通过建模特征图之间的序列依赖关系，使LSTM单元预测年龄敏感区域的坐标，实现在无需人工标注的情况下自动定位。
• 提取全局特征（来自主干网络）和局部特征（来自注意力加权区域），并将二者拼接用于最终预测。
• 在Adience数据集上执行年龄组分类，而在MORPH Album 2、FG-NET和15/16LAP数据集上使用Deep EXpectation（DEX）算法进行年龄回归。
• 使用平均绝对误差（MAE）和epsilon误差（ε-error）指标进行模型训练与评估，以衡量回归与分类性能。

实验结果

研究问题

• RQ1 注意力驱动的LSTM单元是否能在无需人工标注的情况下有效定位年龄敏感面部区域？
• RQ2 将深度网络的全局特征与注意力学习得到的局部特征相结合，是否能提升无约束环境下年龄估计的准确性？
• RQ3 所提出的AL-ResNet/AL-RoR框架在标准年龄估计基准测试中与现有基于CNN的方法相比表现如何？
• RQ4 与仅依赖全局特征的模型相比，注意力机制提取的局部特征在多大程度上减少了预测误差？
• RQ5 该模型能否在具有不同年龄分布和图像质量的多样化数据集（如Adience、MORPH、FG-NET和15/16LAP）上实现良好泛化？

主要发现

• AL-RoR-34模型在16LAP数据集上测试的ε-error为0.2859，在2016年ChaLearn挑战赛中排名第二，优于单模型基线方法。
• 在MORPH Album 2数据集上，AL-RoR-34模型实现了2.36年的最先进MAE，相比之前最先进方法（DLDL）提升了0.06年。
• 在FG-NET数据集上，AL-RoR-34模型实现了2.39年的全新最先进MAE，展现出在具有挑战性且多样化的年龄分布数据上的卓越性能。
• AL-ResNet-152和AL-RoR-34模型的MAE与ε-error均低于ResNet-34和RoR-34，证明局部特征学习能有效增强全局特征表示。
• 可视化示例显示，AL-RoR-34模型的年龄预测误差显著小于DEX和RoR-34，尤其在中老年阶段表现更优。
• 消融实验结果证实，结合全局与局部特征比仅使用全局特征更有效地降低年龄预测误差。