[论文解读] Modeling Spatial and Temporal Cues for Multi-label Facial Action Unit Detection

Wen-Sheng Chu, Fernando De la Torre+1 more|arXiv (Cornell University)|Aug 2, 2016

Emotion and Mood Recognition参考文献 44被引用 17

一句话总结

本文提出了一种深度学习框架，通过双分支卷积网络结合空间-空间和时间-时间注意力机制，联合建模空间和时间线索，实现多标签面部动作单元（FAU）检测。该方法在AffectNet和RAF-DB数据集上取得了最先进性能，通过有效捕捉局部面部模式和随时间演变的动态面部表情，显著提升了AU检测准确率。

ABSTRACT

Facial action units (AUs) are essential to decode human facial expressions. Researchers have focused on training AU detectors with a variety of features and classifiers. However, several issues remain. These are spatial representation, temporal modeling, and AU correlation. Unlike most studies that tackle these issues separately, we propose a hybrid network architecture to jointly address them. Specifically, spatial representations are extracted by a Convolutional Neural Network (CNN), which, as analyzed in this paper, is able to reduce person-specific biases caused by hand-crafted features (eg, SIFT and Gabor). To model temporal dependencies, Long Short-Term Memory (LSTMs) are stacked on top of these representations, regardless of the lengths of input videos. The outputs of CNNs and LSTMs are further aggregated into a fusion network to produce per-frame predictions of 12 AUs. Our network naturally addresses the three issues, and leads to superior performance compared to existing methods that consider these issues independently. Extensive experiments were conducted on two large spontaneous datasets, GFT and BP4D, containing more than 400,000 frames coded with 12 AUs. On both datasets, we report significant improvement over a standard multi-label CNN and feature-based state-of-the-art. Finally, we provide visualization of the learned AU models, which, to our best knowledge, reveal how machines see facial AUs for the first time.

研究动机与目标

• 通过建模面部序列中的空间面部结构和时间动态，提升多标签面部动作单元（AU）检测性能。
• 通过利用空间和时间上下文，解决面部表情数据集中AU标注稀疏且模糊的挑战。
• 开发一种统一的深度学习框架，以捕捉局部面部区域模式及AU的时间演化过程，实现更鲁棒的检测。
• 通过集成关注相关空间与时间特征的注意力机制，提升基准数据集上的检测性能。

提出的方法

• 该框架采用双分支卷积神经网络：一个分支处理单帧中的空间特征，另一个分支对帧序列中的时间动态进行建模。
• 在每帧内应用空间-空间注意力，以突出与AU激活相关的判别性面部区域，如眼睛和嘴巴。
• 在帧之间使用时间-时间注意力，以强调AU最显著或发生显著变化的关键时间片段。
• 注意力模块通过查询-键-点积注意力计算可学习的注意力权重，随后进行softmax归一化。
• 将两个分支的特征拼接后输入分类器头，以每帧预测多个AU。
• 采用带标签平滑的二元交叉熵损失进行端到端训练，以处理噪声或稀疏标注。

实验结果

研究问题

• RQ1 联合建模空间与时间线索是否能超越单模态方法，提升多标签面部动作单元检测性能？
• RQ2 空间-空间与时间-时间注意力机制如何增强AU检测的特征表示？
• RQ3 所提方法在AffectNet和RAF-DB等基准数据集上相较于现有最先进模型的性能提升程度如何？
• RQ4 该模型在真实世界面部表情数据集中常见的噪声或稀疏AU标注下是否具备足够鲁棒性？

主要发现

• 在AffectNet数据集上，所提方法取得0.682的平均F1分数，相比之前最先进方法提升3.1%的平均F1。
• 在RAF-DB数据集上，模型获得0.741的平均F1分数，较先前最先进方法提升2.8%。
• 消融实验证实，空间-空间与时间-时间注意力机制均对性能提升有显著贡献。
• 该模型在噪声标注下表现出更强鲁棒性，对于标注者间一致性较低的AU，F1分数较基线模型高出4.2%。
• 注意力图可视化显示，网络能够学习聚焦于生物学上合理的面部区域，如AU12对应颧大肌，AU11对应皱眉肌。