[论文解读] An audiovisual and contextual approach for categorical and continuous emotion recognition in-the-wild

Panagiotis Antoniadis, Ioannis Pikoulis+2 more|arXiv (Cornell University)|Jul 7, 2021

Emotion and Mood Recognition参考文献 43被引用 30

一句话总结

本文提出了一种多流、多模态的视听情感识别框架，通过使用CNN-RNN主干网络将面部、身体和上下文视觉特征与音频模态进行融合。该方法在Aff-Wild2验证集上实现了最先进（SOTA）的性能，表明身体和场景上下文显著提升了情感识别效果，尤其是在具有挑战性的野外环境下。

ABSTRACT

In this work we tackle the task of video-based audio-visual emotion recognition, within the premises of the 2nd Workshop and Competition on Affective Behavior Analysis in-the-wild (ABAW2). Poor illumination conditions, head/body orientation and low image resolution constitute factors that can potentially hinder performance in case of methodologies that solely rely on the extraction and analysis of facial features. In order to alleviate this problem, we leverage both bodily and contextual features, as part of a broader emotion recognition framework. We choose to use a standard CNN-RNN cascade as the backbone of our proposed model for sequence-to-sequence (seq2seq) learning. Apart from learning through the RGB input modality, we construct an aural stream which operates on sequences of extracted mel-spectrograms. Our extensive experiments on the challenging and newly assembled Aff-Wild2 dataset verify the validity of our intuitive multi-stream and multi-modal approach towards emotion recognition in-the-wild. Emphasis is being laid on the the beneficial influence of the human body and scene context, as aspects of the emotion recognition process that have been left relatively unexplored up to this point. All the code was implemented using PyTorch and is publicly available.

研究动机与目标

• 解决在真实（野外）环境下仅依赖面部进行情感识别的局限性，如光照不良、遮挡和低分辨率等问题。
• 探究将身体姿态和场景上下文作为补充线索对情感识别的影响。
• 通过多模态融合，提升在分类（表情）和连续（愉悦度-唤醒度）情感识别任务上的性能。
• 证明基于梅尔频谱图的音频流与视觉流结合的有效性。
• 提供公开的PyTorch实现，以支持情感行为分析领域的可复现性和进一步研究。

提出的方法

• 采用标准的CNN-RNN（卷积神经网络 + LSTM）级联结构，对视频序列进行端到端的序列学习。
• 所有视觉特征提取器均使用在特定任务数据集上预训练的50层ResNet作为主干网络。
• 构建三个视觉流：(1) 仅面部（F），(2) 身体与上下文特征（BCF），(3) 融合面部+身体+上下文的特征。
• 采用相同的CNN-RNN架构处理从音频中提取的梅尔频谱图序列，实现音频流处理。
• 通过特征表示的晚期融合以及模型输出的加权平均，实现音频与视觉流的融合。
• 使用GloVe嵌入计算视觉-语义嵌入损失（Lemb），并设置λemb = 1.0，以对齐视觉与文本表示。

实验结果

研究问题

• RQ1 在非受限、野外的视频环境中，身体和场景上下文在多大程度上提升了情感识别性能？
• RQ2 通过梅尔频谱图引入音频模态后，对分类和维度情感识别任务的性能有何影响？
• RQ3 在视觉条件具有挑战性的场景下，多流多模态架构是否能优于单流仅面部模型？
• RQ4 视觉-语义嵌入损失（Lemb）的引入是否增强了模型在不同情感类别和维度表示上的泛化能力？
• RQ5 与在Aff-Wild2基准上表现最佳的仅面部模型相比，整体性多流模型的性能如何？

主要发现

• 面部、身体和上下文视觉特征的融合（Visual BCF）使验证集上表情子挑战的F1分数从仅面部的0.453提升至0.517。
• 在最佳视觉流（BCF）基础上加入音频流后，表情识别的总分提升至0.575，愉悦度-唤醒度子挑战的总分提升至0.484。
• 完整的三流模型（音频 + 面部 + 身体 + 上下文）在表情子挑战中达到最高性能，总分为0.592，在愉悦度-唤醒度子挑战中为0.502。
• 在测试集上，模型在表情子挑战中总分为0.437，CCC-A相比基线提升了10%（达到0.616），尽管未达到顶尖提交结果。
• 引入身体和上下文特征使F1分数提升0.018（从0.312提升至0.329），准确率提升0.029（从0.593提升至0.611），表明其在面部条件不佳时仍具显著价值。
• 在BCF流中加入视觉-语义嵌入损失（Lemb）使F1分数提升0.009，表明其在对齐视觉与语义表示方面具有显著有效性。