[论文解读] A Multi-term and Multi-task Analyzing Framework for Affective Analysis in-the-wild

Sachihiro Youoku, Yuushi Toyoda+5 more|arXiv (Cornell University)|Sep 29, 2020

Emotion and Mood Recognition参考文献 20被引用 4

一句话总结

本论文提出了一种基于Aff-Wild2数据集视频数据的多时段、多任务情感分析框架。该框架在短时、中时和长时时间窗口内提取多模态特征（动作单元、头部姿态、凝视、姿势、深度特征），对各时间窗口的模型进行集成，并通过多任务学习融合唤醒度-效价与表情预测任务，最终在验证集上取得0.498的唤醒度-效价得分和0.471的表情得分。

ABSTRACT

Human affective recognition is an important factor in human-computer interaction. However, the method development with in-the-wild data is not yet accurate enough for practical usage. In this paper, we introduce the affective recognition method focusing on valence-arousal (VA) and expression (EXP) that was submitted to the Affective Behavior Analysis in-the-wild (ABAW) 2020 Contest. Since we considered that affective behaviors have many observable features that have their own time frames, we introduced multiple optimized time windows (short-term, middle-term, and long-term) into our analyzing framework for extracting feature parameters from video data. Moreover, multiple modality data are used, including action units, head poses, gaze, posture, and ResNet 50 or Efficient NET features, and are optimized during the extraction of these features. Then, we generated affective recognition models for each time window and ensembled these models together. Also, we fussed the valence, arousal, and expression models together to enable the multi-task learning, considering the fact that the basic psychological states behind facial expressions are closely related to each another. In the validation set, our model achieved a valence-arousal score of 0.498 and a facial expression score of 0.471. These verification results reveal that our proposed framework can improve estimation accuracy and robustness effectively.

研究动机与目标

• 提升真实场景（in-the-wild）视频数据中情感分析的准确性，以应对光照、姿态和表情变化带来的情绪识别挑战。
• 解决情感表达具有不同时间动态特性的问题，需通过多时间尺度分析以实现最优特征捕捉。
• 通过唤醒度-效价与面部表情预测之间的多任务学习，提升模型的鲁棒性与性能。
• 通过降维与基于重要性的特征选择方法，优化不同模态（如OpenFace、ResNet50、EfficientNet、OpenPose）的特征提取。
• 验证数据平衡、时间窗口扩展（包括3秒窗口）以及特征选择在提升模型泛化能力方面的有效性。

提出的方法

• 使用预训练模型从视频帧中提取多模态特征：OpenFace（49维：动作单元、头部姿态、凝视），ResNet50/EfficientNet（2048维→通过PCA降维至200维/300维），以及OpenPose（75维姿势特征）。
• 应用多个时间窗口——短期（1秒）、中期（6秒）、长期（12秒），以0.2秒的滑动步长生成多时段特征，以捕捉动态情感线索。
• 为唤醒度-效价任务（回归任务，自定义指标：2×CCC − MSE）和表情任务（多分类，7种类别，指标：公式3）分别训练独立的LightGBM模型。
• 通过早停法与超参数调优（对learning_rate、num_leaves、max_depth、min_child_samples进行网格搜索）对各时间窗口的模型进行集成。
• 通过多任务学习融合唤醒度-效价与表情模型，以利用共享表征并提升泛化能力。
• 通过数据平衡、引入3秒窗口数据以及基于LightGBM特征重要性的特征选择，进一步优化模型性能。

实验结果

研究问题

• RQ1 在多个时间尺度（短期、中期、长期）建模情感状态，是否能提升真实场景视频中唤醒度-效价与表情估计的准确性？
• RQ2 融合多个识别任务（唤醒度-效价与表情）是否能优于单任务模型？
• RQ3 不同的特征提取策略（如ResNet50与EfficientNet对比、PCA降维、特征选择）对模型鲁棒性与准确性有何影响？
• RQ4 数据平衡与更长时间窗口（如3秒）的引入，在多大程度上提升了模型在真实情感视频数据上的泛化能力？
• RQ5 多时段建模能否有效捕捉情感表达的时间动态特性，如短暂的惊讶（短期）或持续的困惑（长期）？

主要发现

• 多时段模型优于单时段模型，在验证集上将唤醒度-效价得分从中期基线的0.396提升至0.480。
• 多任务模型在唤醒度-效价任务上取得0.482的得分，表情任务取得0.432的得分，显著优于基线（分别为0.190和0.360）。
• 引入3秒窗口与特征选择后性能进一步提升，最佳提交结果（submit.4）在唤醒度-效价任务上取得0.479的得分，表情任务取得0.495的得分。
• 最终模型采用EfficientNet、数据平衡、3秒窗口与特征提取策略，在验证集上取得0.498的唤醒度-效价得分与0.471的表情得分。
• 消融实验证实，数据平衡与特征选择显著提升了模型在多样化真实场景条件下的鲁棒性与泛化能力。
• 结果表明，多任务学习与多时段建模协同作用，通过捕捉时间动态特性与共享情感表征，共同提升了模型性能。