[论文解读] From Static to Dynamic: Adapting Landmark-Aware Image Models for Facial Expression Recognition in Videos

Yin Chen, Jia Li+3 more|arXiv (Cornell University)|Dec 9, 2023

Emotion and Mood Recognition被引用 4

一句话总结

本文提出S2D，一种参数高效的框架，通过集成时间建模适配器（TMAs）和基于情感锚点的自蒸馏损失（SDL），将预训练的地标感知图像模型适配于视频中的动态面部表情识别（DFER）。该方法在DFEW数据集上实现了最先进性能，额外可训练参数不足10%，显著提升了对模糊标签的鲁棒性，并通过基于地标的特征建模了时间动态性。

ABSTRACT

Dynamic facial expression recognition (DFER) in the wild is still hindered by data limitations, e.g., insufficient quantity and diversity of pose, occlusion and illumination, as well as the inherent ambiguity of facial expressions. In contrast, static facial expression recognition (SFER) currently shows much higher performance and can benefit from more abundant high-quality training data. Moreover, the appearance features and dynamic dependencies of DFER remain largely unexplored. To tackle these challenges, we introduce a novel Static-to-Dynamic model (S2D) that leverages existing SFER knowledge and dynamic information implicitly encoded in extracted facial landmark-aware features, thereby significantly improving DFER performance. Firstly, we build and train an image model for SFER, which incorporates a standard Vision Transformer (ViT) and Multi-View Complementary Prompters (MCPs) only. Then, we obtain our video model (i.e., S2D), for DFER, by inserting Temporal-Modeling Adapters (TMAs) into the image model. MCPs enhance facial expression features with landmark-aware features inferred by an off-the-shelf facial landmark detector. And the TMAs capture and model the relationships of dynamic changes in facial expressions, effectively extending the pre-trained image model for videos. Notably, MCPs and TMAs only increase a fraction of trainable parameters (less than +10\%) to the original image model. Moreover, we present a novel Emotion-Anchors (i.e., reference samples for each emotion category) based Self-Distillation Loss to reduce the detrimental influence of ambiguous emotion labels, further enhancing our S2D. Experiments conducted on popular SFER and DFER datasets show that we achieve the state of the art.

研究动机与目标

• 为解决由于视频数据有限、模糊且多样性不足，导致静态（SFER）与动态（DFER）面部表情识别之间性能差距的问题。
• 利用丰富且高质量的SFER数据集和预训练图像模型作为先验知识，用于DFER任务。
• 通过轻量级适配器，在无需从头训练的情况下，有效建模面部表情的时间动态性。
• 通过基于情感锚点的新型自蒸馏损失，减少情绪预测中的不确定性与模糊性。
• 开发一种参数高效且实用的DFER框架，以极低计算开销超越现有方法。

提出的方法

• 在SFER数据上微调一个带有多视角互补提示器（MCPs）的预训练视觉Transformer（ViT），以增强地标感知的外观特征。
• 在图像模型中插入时间建模适配器（TMAs），以捕捉视频片段中的序列动态，实现端到端的视频级学习。
• MCPs通过集成来自预训练检测器（MobileFaceNet）的面部关键点特征，将几何面部结构信息融入外观表征。
• 基于情感锚点的自蒸馏损失（SDL）利用每类情绪的参考样本生成软标签，降低模型在模糊表达上的不确定性。
• S2D框架仅比基础图像模型增加约10%的可训练参数，实现端到端训练。
• 通过t-SNE和注意力可视化分析特征可分性和时间注意力模式，验证模型捕捉动态变化的能力。

实验结果

研究问题

• RQ1 能否在仅进行少量参数更新的情况下，有效将预训练的地标感知图像模型适配于基于视频的面部表情识别？
• RQ2 如何以轻量化且高效的方式有效建模面部表情中的时间动态性？
• RQ3 基于情感锚点的自蒸馏在多大程度上能减轻DFER数据集中模糊情绪标注的影响？
• RQ4 静态SFER知识与动态视频建模的结合，能否在真实场景的DFER基准上实现最先进性能？
• RQ5 与现有最先进方法相比，该方法在参数效率和性能方面表现如何？

主要发现

• S2D在DFEW测试集上实现了78.9%的新最先进加权平均召回率（WAR），优于包括MAE-DFER和DFER-CLIP在内的先前方法。
• 该模型仅使用900万可调参数，相比基础图像模型增加不足10%。
• TMAs的引入显著提升了特征可分性，t-SNE可视化显示特征簇更加紧凑且可分。
• SDL模块降低了预测模糊性：例如，在模糊情况下，“高兴”与“中性”之间的置信度差异从0.02提升至0.23。
• 注意力可视化证实，模型能随时间动态地在面部区域（如眼睛、嘴巴）间转移关注，捕捉肌肉运动的演变过程。
• 尽管数据稀缺，模型在稀有类别（如‘厌恶’和‘恐惧’）上仍表现出性能提升，但受限于样本稀少，仍具挑战性。