[论文解读] Investigation of Multimodal Features, Classifiers and Fusion Methods for Emotion Recognition

Zheng Lian, Ya Li+2 more|arXiv (Cornell University)|Sep 13, 2018

Emotion and Mood Recognition参考文献 49被引用 17

一句话总结

该论文针对EmotiW 2018挑战赛提出了一种多模态情感识别系统，通过手工特征与深度神经网络（DNN）提取的瓶颈特征，融合音频、视频和文本模态。系统评估了时序与非时序分类器，采用Beam Search Fusion（BS-Fusion）进行多模态融合，在测试集上达到60.34%的准确率，仅比冠军低1.5%，展现出强大的竞争力，其融合策略具有鲁棒性。

ABSTRACT

Automatic emotion recognition is a challenging task. In this paper, we present our effort for the audio-video based sub-challenge of the Emotion Recognition in the Wild (EmotiW) 2018 challenge, which requires participants to assign a single emotion label to the video clip from the six universal emotions (Anger, Disgust, Fear, Happiness, Sad and Surprise) and Neutral. The proposed multimodal emotion recognition system takes audio, video and text information into account. Except for handcraft features, we also extract bottleneck features from deep neutral networks (DNNs) via transfer learning. Both temporal classifiers and non-temporal classifiers are evaluated to obtain the best unimodal emotion classification result. Then possibilities are extracted and passed into the Beam Search Fusion (BS-Fusion). We test our method in the EmotiW 2018 challenge and we gain promising results. Compared with the baseline system, there is a significant improvement. We achieve 60.34% accuracy on the testing dataset, which is only 1.5% lower than the winner. It shows that our method is very competitive.

研究动机与目标

• 为EmotiW 2018挑战赛开发一种鲁棒的多模态情感识别系统，要求将视频片段分类为六种普遍情感之一或Neutral（中性）。
• 探究结合手工特征与基于深度学习的特征（瓶颈特征）在音频、视频和文本模态中的有效性。
• 评估时序与非时序分类器在单模态情感识别中的表现，以优化各模态在融合前的性能。
• 探索融合策略，特别是Beam Search Fusion（BS-Fusion），以有效整合多模态预测，提升整体分类准确率。

提出的方法

• 系统从音频（如语音特征）、视频（如面部关键点与动作单元）和文本（如情感与情绪词典）中提取手工特征。
• 通过迁移学习，从预训练的深度神经网络（DNN）中提取瓶颈特征，捕捉各模态的高层表示。
• 评估时序分类器（如RNN或LSTM）与非时序分类器（如SVM或MLP）在单模态情感识别中的表现，以确定各模态的最佳性能。
• 利用Beam Search Fusion（BS-Fusion）融合各单模态分类器的预测结果，这是一种序列解码策略，通过探索多种融合路径寻找最高置信度的联合预测。
• 优化融合过程，以在模态间平衡置信度与多样性，提升最终分类的鲁棒性。
• 最终系统在EmotiW 2018数据集上进行训练与评估，该数据集包含标注为七种类别情感标签的短视频片段。

实验结果

研究问题

• RQ1 在音频、视频和文本模态中，手工特征与深度瓶颈特征在单模态情感识别中的性能表现如何比较？
• RQ2 在视频片段的情感识别中，时序分类器与非时序分类器哪种能获得更好的单模态性能？
• RQ3 与简单的早期融合和晚期融合方法相比，Beam Search Fusion在多模态情感识别准确率上的提升程度如何？
• RQ4 在多模态设置下，音频、视频与文本特征的不同组合对最终分类性能有何贡献？
• RQ5 在EmotiW 2018挑战赛中，通过DNN瓶颈特征进行迁移学习对整体系统准确率有何影响？

主要发现

• 所提出的多模态系统在EmotiW 2018测试集上达到60.34%的准确率，展现出在竞争性挑战环境中的强劲表现。
• 与仅使用手工特征相比，DNN瓶颈特征显著提升了单模态性能，尤其在音频与视频模态中表现更优。
• Beam Search Fusion（BS-Fusion）优于简单的早期融合与晚期融合策略，通过有效探索多样化的预测路径，提升了最终决策的置信度。
• 时序分类器在视频与音频模态中表现优于非时序分类器，表明建模情感识别中的时序动态特性至关重要。
• 该系统的性能仅比冠军低1.5%，凸显其尽管未获最高排名，但依然具有强大竞争力。