[论文解读] Cross-Language Speech Emotion Recognition Using Multimodal Dual Attention Transformers

Syed Aun Muhammad Zaidi, Siddique Latif+1 more|arXiv (Cornell University)|Jun 23, 2023

Emotion and Mood Recognition被引用 8

一句话总结

MDAT 利用多语言预训练模型进行语音和文本处理，采用双重注意力（图注意力和共注意力）与变换器编码器，在目标语言数据有限的情况下提升跨语言 SER 的表现。

ABSTRACT

Despite the recent progress in speech emotion recognition (SER), state-of-the-art systems are unable to achieve improved performance in cross-language settings. In this paper, we propose a Multimodal Dual Attention Transformer (MDAT) model to improve cross-language SER. Our model utilises pre-trained models for multimodal feature extraction and is equipped with a dual attention mechanism including graph attention and co-attention to capture complex dependencies across different modalities and achieve improved cross-language SER results using minimal target language data. In addition, our model also exploits a transformer encoder layer for high-level feature representation to improve emotion classification accuracy. In this way, MDAT performs refinement of feature representation at various stages and provides emotional salient features to the classification layer. This novel approach also ensures the preservation of modality-specific emotional information while enhancing cross-modality and cross-language interactions. We assess our model's performance on four publicly available SER datasets and establish its superior effectiveness compared to recent approaches and baseline models.

研究动机与目标

• 解决在目标语言数据有限的情况下的跨语言 SER 问题。
• 利用多语言预训练模型提取语音和文本特征。
• 在增强跨模态交互的同时保留模态特定的情感信息。
• 使用双重注意力与变换器编码器提升跨语言的情感分类。

提出的方法

• 使用 XLS-R（多语言 wav2vec 2.0）获取语音嵌入，使用 RoBERTa 获取文本嵌入。
• 应用 1x1 卷积将文本特征维度对齐到语音特征维度。
• 采用图注意力层建模模态内依赖关系。
• 应用共注意力层捕捉语音和文本之间的跨模态交互。
• 将带有注意后的输入拼接后送入变换器编码器以获得高级表示。
• 对拼接的变换器输出使用密集-softmax 分类器。

实验结果

研究问题

• RQ1 一个具有双重注意力的多模态变换器能否在目标语言数据有限的情况下提升跨语言 SER？
• RQ2 多语言预训练的语音与文本模型是否能提高跨语言的泛化能力？
• RQ3 将图注意力与共注意力结合是否能在提升跨模态融合的同时保持模态特定信息？
• RQ4 MDAT 相较于基线 BiLSTM 及其他跨语言多模态 SER 方法，在不同语言中的表现如何？

主要发现

数据集	Baseline UA	SAFRLM UA	HCAM UA	MDAT UA
IEMOCAP (4 Classes)	63.33	72.14	73.67	75.58
EMODB (7 Classes)	81.00	73.43	83.16	84.50
URDU (4 Classes)	91.13	84.73	91.56	94.33
EMOVO (6 Classes)	72.25	67.50	76.66	82.81

• MDAT 在四个语言数据集的同语料内评估中，表现优于基线和此前的多模态方法。
• 在 IEMOCAP、URDU、EMODB 和 EMOVO 上，MDAT 的未加权准确率高于 Baseline、SAFRLM 和 HCAM。
• 模型通过利用跨语言的预训练表示，展示出对跨语言的优越适应性。
• 基于变换器的高级表示学习在情感分类准确性上进一步优于仅有双重注意力的方法。
• MDAT 在提供的同语料比较中达到最高的未加权准确率。