[论文解读] Computer Vision Estimation of Emotion Reaction Intensity in the Wild

Qian Yang, Ali Kargarandehkordi+5 more|arXiv (Cornell University)|Mar 19, 2023

Emotion and Mood RecognitionPsychology被引用 3

一句话总结

本文提出一种计算机视觉方法，利用深度学习在真实世界、非受控环境（in-the-wild）中估计情绪反应强度。该研究引入了四个纯视觉模型和一个多模态（视觉-音频）深度神经网络，使用预训练的ResNet50在Hume-Reaction数据集上实现了0.4080的测试皮尔逊相关系数，标志着在实现精细情绪强度预测的生产级模型方面迈出了关键一步，超越了离散类别。

ABSTRACT

Emotions play an essential role in human communication. Developing computer vision models for automatic recognition of emotion expression can aid in a variety of domains, including robotics, digital behavioral healthcare, and media analytics. There are three types of emotional representations which are traditionally modeled in affective computing research: Action Units, Valence Arousal (VA), and Categorical Emotions. As part of an effort to move beyond these representations towards more fine-grained labels, we describe our submission to the newly introduced Emotional Reaction Intensity (ERI) Estimation challenge in the 5th competition for Affective Behavior Analysis in-the-Wild (ABAW). We developed four deep neural networks trained in the visual domain and a multimodal model trained with both visual and audio features to predict emotion reaction intensity. Our best performing model on the Hume-Reaction dataset achieved an average Pearson correlation coefficient of 0.4080 on the test set using a pre-trained ResNet50 model. This work provides a first step towards the development of production-grade models which predict emotion reaction intensities rather than discrete emotion categories.

研究动机与目标

• 通过超越传统情绪表征（如动作单元、效价-唤醒度以及离散情绪）来推进情感计算。
• 开发能够预测连续情绪反应强度而非离散情绪标签的模型。
• 解决在非受限、真实世界视频数据中进行情绪估计的挑战。
• 通过稳健的情绪强度预测，推动数字行为健康、机器人技术以及媒体分析等实际应用。

提出的方法

• 开发了四个仅基于视频帧视觉特征训练的深度神经网络。
• 使用视觉和音频特征联合训练了一个多模态深度学习模型，以提升强度估计的准确性。
• 采用预训练的ResNet50主干网络进行特征提取，以提升在数据有限情况下的性能。
• 应用迁移学习技术，将预训练模型适配至情绪反应强度回归任务。
• 采用均方误差损失函数优化模型，以实现连续强度预测。
• 在Hume-Reaction测试集上，使用皮尔逊相关系数评估模型性能。

实验结果

研究问题

• RQ1 深度学习模型能否在非受限、真实世界视频数据中有效估计连续情绪反应强度？
• RQ2 与仅使用视觉的模型相比，引入音频模态在多大程度上提升了情绪强度估计的准确性？
• RQ3 纯视觉模型在真实世界中预测精细情绪反应强度的性能上限是什么？
• RQ4 所提出的方法与传统的感情计算表征（如效价-唤醒度或离散情绪）相比如何？

主要发现

• 表现最佳的模型在Hume-Reaction测试集上实现了0.4080的皮尔逊相关系数，为情绪反应强度估计建立了强有力的基线。
• 多模态模型优于所有纯视觉模型，证明了音视频融合在强度预测中的价值。
• 使用预训练的ResNet50主干网络显著提升了模型在真实世界数据集上的收敛速度与性能。
• 结果表明，情绪反应强度是计算机视觉系统在真实世界环境中可行且可测量的目标。
• 本研究为未来在离散情绪类别之外的连续情绪强度估计研究奠定了基础性基准。