[论文解读] Multi-Modal Emotion Recognition by Text, Speech and Video Using Pretrained Transformers

Minoo Shayaninasab, Bagher BabaAli|arXiv (Cornell University)|Feb 11, 2024

Emotion and Mood RecognitionPsychology被引用 3

一句话总结

本文提出了一种使用预训练Transformer模型进行文本、语音和视频模态的多模态情感识别框架，采用特征级拼接和SVM分类。在IEMOCAP数据集上，性能最佳的模型达到了75.42%的准确率，证明了微调后的多模态Transformer与混合融合策略的有效性。

ABSTRACT

Due to the complex nature of human emotions and the diversity of emotion representation methods in humans, emotion recognition is a challenging field. In this research, three input modalities, namely text, audio (speech), and video, are employed to generate multimodal feature vectors. For generating features for each of these modalities, pre-trained Transformer models with fine-tuning are utilized. In each modality, a Transformer model is used with transfer learning to extract feature and emotional structure. These features are then fused together, and emotion recognition is performed using a classifier. To select an appropriate fusion method and classifier, various feature-level and decision-level fusion techniques have been experimented with, and ultimately, the best model, which combines feature-level fusion by concatenating feature vectors and classification using a Support Vector Machine on the IEMOCAP multimodal dataset, achieves an accuracy of 75.42%. Keywords: Multimodal Emotion Recognition, IEMOCAP, Self-Supervised Learning, Transfer Learning, Transformer.

研究动机与目标

• 为解决在多种模态中识别复杂且多样的人类情感的挑战。
• 利用微调的预训练Transformer模型，实现对文本、语音和视频模态中鲁棒的特征提取。
• 评估并比较多种特征级和决策级融合技术在多模态情感识别中的表现。
• 确定最大化多模态数据情感识别准确率的最优融合策略与分类器组合。

提出的方法

• 对文本、语音（语音）和视频数据分别微调预训练的Transformer模型，以提取模态特异性特征。
• 采用自监督预训练结合微调的方法，捕捉各模态中的情感结构。
• 在特征级对所有三种模态提取的特征向量进行拼接，实现融合。
• 在融合后的多模态特征上训练支持向量机（SVM）分类器，用于情感预测。
• 系统性地比较多种融合策略，包括早期融合与晚期融合，以确定最优配置。
• 在IEMOCAP多模态情感识别数据集上评估模型，该数据集是多模态情感识别的标准基准。

实验结果

研究问题

• RQ1 在多模态情感识别中，特征级融合与决策级融合哪种策略能获得更高的准确率？
• RQ2 对预训练Transformer模型进行微调，在从文本、语音和视频中提取情感相关特征方面有多高效？
• RQ3 在IEMOCAP数据集上，最优的特征融合方法与分类器组合是什么？
• RQ4 在单个模态上进行自监督预训练是否能提升下游情感识别性能？

主要发现

• 使用模态特异性嵌入拼接的特征级融合策略取得了最高性能。
• 微调后的预训练Transformer与SVM分类器的组合在IEMOCAP数据集上表现最佳。
• 所提出的模型在测试集上达到了75.42%的准确率，优于其他测试的融合与分类配置。
• 对预训练Transformer进行微调显著提升了所有模态在情感识别任务中的特征表示能力。
• 本研究证实，通过早期拼接实现的多模态融合，配合SVM等强分类器，对情感识别是有效的。