[论文解读] Capturing Spectral and Long-term Contextual Information for Speech Emotion Recognition Using Deep Learning Techniques

Samiul Islam, Md. Maksudul Haque+1 more|arXiv (Cornell University)|Aug 4, 2023

Emotion and Mood RecognitionPsychology被引用 3

一句话总结

本文提出了一种集成深度学习模型，结合图卷积网络（GCN）用于文本上下文建模，以及HuBERT变换器用于语音信号分析，以提升语音情感识别性能。通过利用GCN捕捉文本中长期语义关系的能力，以及HuBERT的自注意力机制建模语音中时间动态的特性，该混合方法在性能上优于传统方法（如LSTM和CNN），在情感识别任务中表现出更高的准确率。

ABSTRACT

Traditional approaches in speech emotion recognition, such as LSTM, CNN, RNN, SVM, and MLP, have limitations such as difficulty capturing long-term dependencies in sequential data, capturing the temporal dynamics, and struggling to capture complex patterns and relationships in multimodal data. This research addresses these shortcomings by proposing an ensemble model that combines Graph Convolutional Networks (GCN) for processing textual data and the HuBERT transformer for analyzing audio signals. We found that GCNs excel at capturing Long-term contextual dependencies and relationships within textual data by leveraging graph-based representations of text and thus detecting the contextual meaning and semantic relationships between words. On the other hand, HuBERT utilizes self-attention mechanisms to capture long-range dependencies, enabling the modeling of temporal dynamics present in speech and capturing subtle nuances and variations that contribute to emotion recognition. By combining GCN and HuBERT, our ensemble model can leverage the strengths of both approaches. This allows for the simultaneous analysis of multimodal data, and the fusion of these modalities enables the extraction of complementary information, enhancing the discriminative power of the emotion recognition system. The results indicate that the combined model can overcome the limitations of traditional methods, leading to enhanced accuracy in recognizing emotions from speech.

研究动机与目标

• 解决传统模型（如LSTM、CNN和SVM）在捕捉语音情感识别中长期依赖关系与复杂时间动态方面的局限性。
• 通过互补的深度学习架构整合多模态数据（文本与语音），以提升情感识别性能。
• 利用GCN通过图表示建模语音文本中的语义关系，增强语义理解。
• 利用HuBERT中的自注意力机制捕捉语音信号中的长程时间依赖关系。
• 构建一个集成模型，融合文本与语音表征，以提升情感分类的判别能力。

提出的方法

• 采用图卷积网络（GCN）通过构建文本序列的图表示，建模词级别的语义关系。
• 使用HuBERT——一种基于自监督的变换器模型——从原始语音信号中提取深层上下文表征。
• 通过早期或晚期融合策略，融合GCN（文本）与HuBERT（语音）的高层表征，以整合多模态信息。
• 在语音情感识别数据集上端到端训练集成模型，以优化情感分类准确率。
• 在HuBERT中应用注意力机制，动态加权语音中与情感相关的时间段，以实现情感相关特征的提取。
• 利用基于图的编码方式，保留文本序列中的长程依赖关系，提升情感内容的上下文理解能力。

实验结果

研究问题

• RQ1 GCN能否有效建模语音中文本成分的长期上下文依赖关系，以支持情感识别？
• RQ2 HuBERT的自注意力机制能否捕捉语音信号中与情感相关的细微时间动态与频谱变化？
• RQ3 GCN与HuBERT表征的融合是否能显著提升情感识别准确率，相较于独立模型？
• RQ4 GCN（语义关系）与HuBERT（时间动态）的互补优势如何增强多模态情感识别？
• RQ5 该集成模型在捕捉复杂情感模式方面，相较于传统深度学习模型（如LSTM与CNN）的优越程度如何？

主要发现

• 所提出的GCN-HuBERT集成模型在语音情感识别任务中的准确率高于传统模型（如LSTM、CNN和SVM）。
• GCN通过图结构建模词与词之间的交互，有效捕捉了文本数据中的长期语义关系与上下文依赖。
• HuBERT的自注意力机制成功建模了语音信号中的长程时间依赖关系，实现了对细微情感线索的检测。
• 通过集成方法融合文本与语音表征，显著增强了系统的判别能力，提升了分类性能。
• 该模型在捕捉语音的频谱特征与文本的上下文语义方面表现出鲁棒性，形成了更全面的情感表征。
• 结果证实，结合GCN与HuBERT能够充分发挥两种架构的优势，克服单一模型在处理序列与多模态数据方面的局限。