[论文解读] Attended End-to-end Architecture for Age Estimation from Facial Expression Videos

Wenjie Pei, Hamdi Dibeklioğlu+2 more|arXiv (Cornell University)|Nov 23, 2017

Face recognition and analysis参考文献 60被引用 12

一句话总结

本文提出 SIAM，一种用于从面部表情视频进行年龄估计的端到端注意力机制深度学习模型，结合卷积网络提取空间外观特征与循环网络捕捉时间动态，并通过空间和时间注意力机制进行增强。该模型在大规模数据集上实现了最先进性能，尤其在训练数据充足时表现更优，通过外观与动态的联合优化，展现出卓越的准确率与可解释性。

ABSTRACT

The main challenges of age estimation from facial expression videos lie not only in the modeling of the static facial appearance, but also in the capturing of the temporal facial dynamics. Traditional techniques to this problem focus on constructing handcrafted features to explore the discriminative information contained in facial appearance and dynamics separately. This relies on sophisticated feature-refinement and framework-design. In this paper, we present an end-to-end architecture for age estimation, called Spatially-Indexed Attention Model (SIAM), which is able to simultaneously learn both the appearance and dynamics of age from raw videos of facial expressions. Specifically, we employ convolutional neural networks to extract effective latent appearance representations and feed them into recurrent networks to model the temporal dynamics. More importantly, we propose to leverage attention models for salience detection in both the spatial domain for each single image and the temporal domain for the whole video as well. We design a specific spatially-indexed attention mechanism among the convolutional layers to extract the salient facial regions in each individual image, and a temporal attention layer to assign attention weights to each frame. This two-pronged approach not only improves the performance by allowing the model to focus on informative frames and facial areas, but it also offers an interpretable correspondence between the spatial facial regions as well as temporal frames, and the task of age estimation. We demonstrate the strong performance of our model in experiments on a large, gender-balanced database with 400 subjects with ages spanning from 8 to 76 years. Experiments reveal that our model exhibits significant superiority over the state-of-the-art methods given sufficient training data.

研究动机与目标

• 为解决传统手工设计特征方法在从面部表情视频进行年龄估计时的局限性，实现外观与动态的联合学习。
• 通过在端到端框架中整合空间注意力以突出显著面部区域，以及时间注意力以聚焦信息丰富的视频帧，从而提升性能。
• 通过将特定面部区域与视频帧与年龄估计预测相关联，提供可解释性。
• 评估模型在训练数据规模增加时的可扩展性与性能增益，尤其与手工特征基线方法进行对比。

提出的方法

• 利用卷积神经网络（CNNs）从面部表情视频的单帧中提取潜在外观表征。
• 采用循环神经网络（RNNs）建模序列帧间的时间动态，捕捉随时间演变的表情变化。
• 在卷积层中引入空间索引注意力机制，以突出每帧中显著的面部区域（如皱纹、眼睛）。
• 在RNN输出之上应用时间注意力层，根据其与年龄估计的相关性动态分配帧权重。
• 以端到端方式联合训练整个架构——包括CNN、RNN、注意力模块与回归头——无需人工特征工程。
• 利用包含400名受试者（年龄8–76岁）的大规模、性别平衡数据集进行训练与评估，并对数据规模与表情类型进行消融研究。

实验结果

研究问题

• RQ1 端到端深度学习模型能否联合优化从面部表情视频进行年龄估计的外观与时间动态？
• RQ2 空间与时间注意力机制的整合如何提升年龄估计的性能与可解释性？
• RQ3 随着训练数据规模增加，模型性能是否显著提升，尤其与手工特征方法相比？
• RQ4 为何该模型在较小数据集（如UvA-NEMO 厌恶表情数据库）上表现欠佳，尽管在大规模数据集上表现优异？

主要发现

• 在大规模UvA-NEMO 微笑表情数据库（1,000+段视频）上，SIAM实现4.74年的平均绝对误差（MAE），显著优于使用手工特征的最先进方法。
• 模型在更大规模训练数据下展现出显著的性能提升，表明其具备良好的可扩展性，并且在更多数据下仍有进一步优化潜力。
• 在较小的UvA-NEMO 厌恶表情数据库（518段视频）上，SIAM的MAE为6.96年，高于手工特征基线，主要由于训练数据有限。
• 当仅在微笑数据库的摆拍子集（643段视频）上评估时，SIAM的MAE上升至6.41年，表明数据规模与表情类型均影响性能表现。
• 空间与时间注意力机制生成了可解释的注意力图，清晰突出与年龄相关的关键面部区域（如眼周与口周）及信息量高的视频帧。
• 消融研究证实，结合注意力机制的端到端联合训练，相比独立设计特征，能实现更优的特征学习与回归准确率。