[论文解读] Facial Affective Behavior Analysis Method for 5th ABAW Competition

Shangfei Wang, Yanan Chang+6 more|arXiv (Cornell University)|Mar 16, 2023

Emotion and Mood Recognition被引用 8

一句话总结

论文为第五届 ABAW 竞赛在 Aff-Wild2 上构建了三个面向任务的模型：通过融合骨干提取进行 VA 估计；使用集成的 Sub-类与 Meta- 类分类器进行表达分类；结合 CNN/Transformer、时序处理和 focal loss 的 AU 识别。

ABSTRACT

Facial affective behavior analysis is important for human-computer interaction. 5th ABAW competition includes three challenges from Aff-Wild2 database. Three common facial affective analysis tasks are involved, i.e. valence-arousal estimation, expression classification, action unit recognition. For the three challenges, we construct three different models to solve the corresponding problems to improve the results, such as data unbalance and data noise. For the experiments of three challenges, we train the models on the provided training data and validate the models on the validation data.

研究动机与目标

• 在野外场景下推动人机交互中的面部情感行为自动分析。
• 解决三个 ABAW 挑战（情绪-唤醒估计、表达分类、动作单元识别）。
• 开发面向任务的模型以处理 Aff-Wild2 的数据不平衡与噪声。
• 在提供的训练/验证集上评估模型并报告相较基线的性能提升。

提出的方法

• 对于 VA 估计：融合 ResNet50、RegNet、EfficientNet 三条骨干的特征；在 valence/arousal 分类器前使用极性分类器；将 valence 特征输入到 arousal 分类器；以离散标签的交叉熵和回归的 CCC 损失进行训练。
• 对于表达分类：对数据进行 bagging 集成以在增强数据上训练多个子分类器；一个 Meta-分类器按预定规则和阈值进行最终投票；用 L_C = L_CE + lambda * L_Dice，结合 focal 数据增强策略；针对 7 类进行数据删除/处理。
• 对于 AU 识别：通过人脸裁剪/对齐进行预处理；使用 ResNet-50 和 RegNet 骨干提取特征；通过 Transformer 块进行时序建模及上/下采样管线；融合三个管线的输出；采用 focal loss 以处理不平衡。

实验结果

研究问题

• RQ1 如何通过骨干融合与跨任务相关性在野外场景中提升 valence-arousal 估计？
• RQ2 在数据不平衡下，集成与元分类策略是否能提升面部表情识别？
• RQ3 如何结合 CNN 骨干和基于 Transformer 的时序模块来有效建模 AU 检测的时空线索？

主要发现

• 在验证集上的 Valence 与 arousal CCC：基线为 22.0（valence）和 24.0（arousal）；所提方法为 25.7（valence）和 38.3（arousal）。
• 表达分类：Meta-Classifier 在所有评估组件中取得最佳验证指标（准确率 0.4618，F1 0.3024）。
• AU 检测：RegNet-800MF 骨干获得最高验证 F1 0.6983，优于 RegNet-400MF（0.6813）与 ResNet-50（0.5591）。