[论文解读] Exploring the contextual factors affecting multimodal emotion recognition in videos

Prasanta Bhattacharya, Raj Kumar Gupta+1 more|arXiv (Cornell University)|Apr 28, 2020

Emotion and Mood Recognition参考文献 82被引用 5

一句话总结

本研究探讨了说话者性别与情感片段持续时间如何影响基于面部表情、语音语调和文本内容的多模态情感识别性能。基于2,176个经人工标注的YouTube视频，研究发现多模态特征在男性说话者及较短情感片段中显著优于单模态与双模态方法，尤其在识别中性与喜悦情绪时表现尤为突出。

ABSTRACT

Emotional expressions form a key part of user behavior on today's digital platforms. While multimodal emotion recognition techniques are gaining research attention, there is a lack of deeper understanding on how visual and non-visual features can be used to better recognize emotions in certain contexts, but not others. This study analyzes the interplay between the effects of multimodal emotion features derived from facial expressions, tone and text in conjunction with two key contextual factors: i) gender of the speaker, and ii) duration of the emotional episode. Using a large public dataset of 2,176 manually annotated YouTube videos, we found that while multimodal features consistently outperformed bimodal and unimodal features, their performance varied significantly across different emotions, gender and duration contexts. Multimodal features performed particularly better for male speakers in recognizing most emotions. Furthermore, multimodal features performed particularly better for shorter than for longer videos in recognizing neutral and happiness, but not sadness and anger. These findings offer new insights towards the development of more context-aware emotion recognition and empathetic systems.

研究动机与目标

• 理解说话者性别与情感片段持续时间等上下文因素如何影响多模态情感识别性能。
• 探究多模态特征（面部、语音、文本）是否在不同情感状态与情境下持续提升情感识别效果。
• 识别多模态融合相较于单模态或双模态方法表现更优的具体条件。
• 为设计能够适应说话者与时间因素的上下文感知情感计算系统提供实证洞见。

提出的方法

• 采用大规模公开数据集，包含2,176个经人工标注的YouTube视频，用于情感识别任务。
• 提取多模态特征：面部表情（基于面部关键点分析）、语音语调（语调特征）与文本内容（基于NLP的情感与情绪嵌入）。
• 应用多模态融合策略，结合视觉、听觉与文本模态，采用晚期或早期融合技术。
• 使用标准评估指标（如F1值、准确率）在不同情感类别、性别群体与视频时长分组中评估性能。
• 在不同上下文条件下，对单模态、双模态与多模态配置进行对比分析。
• 将视频分割为短时与长时情感片段，以评估时长对识别准确率的影响。

实验结果

研究问题

• RQ1 说话者性别在多大程度上影响多模态情感识别系统的性能？
• RQ2 情感片段的持续时间如何影响多模态特征的识别准确率？
• RQ3 在哪些情感状态下，多模态特征相较于单模态或双模态方法展现出最显著的性能提升？
• RQ4 是否存在某些情感状态中多模态融合效果较差的情况？若存在，其上下文条件是什么？
• RQ5 通过将说话者性别与片段持续时间作为辅助输入，能否进一步提升上下文感知情感识别模型的性能？

主要发现

• 多模态特征在所有情感类别中均显著优于单模态与双模态特征，F1值与准确率均有统计学意义的提升。
• 男性说话者在多模态特征下的识别准确率显著高于女性说话者，尤其在愤怒与悲伤情绪中表现更优。
• 对于较短的情感片段，多模态特征使中性与喜悦情绪的识别F1值最高提升15%。
• 在短时片段中，悲伤与愤怒情绪未见显著性能提升，表明不同情感对时长的敏感性存在差异。
• 多模态与单模态系统之间的性能差距在中性与喜悦情绪识别中最为显著，尤其针对男性说话者。
• 性别与时长等上下文因素显著调节多模态融合的有效性，提示需开发自适应模型。