[论文解读] Deep Multimodal Learning for Emotion Recognition in Spoken Language

Yue Gu, Shuhong Chen+1 more|arXiv (Cornell University)|Feb 22, 2018

Emotion and Mood Recognition参考文献 14被引用 12

一句话总结

该论文提出了一种深度多模态框架，通过结合卷积神经网络（CNNs）提取文本的空间特征和循环神经网络（RNNs）提取音频的时序特征，实现文本与音频特征的联合学习，并通过三层深度神经网络进行端到端的跨模态融合，最终在 IEMOCAP 数据集上实现了五类情绪分类的 60.4% 加权准确率。

ABSTRACT

In this paper, we present a novel deep multimodal framework to predict human emotions based on sentence-level spoken language. Our architecture has two distinctive characteristics. First, it extracts the high-level features from both text and audio via a hybrid deep multimodal structure, which considers the spatial information from text, temporal information from audio, and high-level associations from low-level handcrafted features. Second, we fuse all features by using a three-layer deep neural network to learn the correlations across modalities and train the feature extraction and fusion modules together, allowing optimal global fine-tuning of the entire structure. We evaluated the proposed framework on the IEMOCAP dataset. Our result shows promising performance, achieving 60.4% in weighted accuracy for five emotion categories.

研究动机与目标

• 通过利用文本和音频模态，提升语音语言中的情绪识别性能。
• 通过混合深度学习架构，对文本中的空间依赖性和音频中的时序动态进行建模。
• 通过特征提取与融合模块的端到端训练，学习跨模态相关性。
• 实现整个多模态系统的全局微调，以提升性能。

提出的方法

• 采用混合深度神经网络架构：卷积神经网络（CNNs）从文本中提取高层空间特征，循环神经网络（RNNs）对音频中的时序模式进行建模。
• 引入低层次手工设计特征（如语调和语言线索），以增强各模态的表征能力。
• 通过三层深度神经网络融合多模态特征，学习文本与音频输入之间的复杂相关性。
• 整个系统采用端到端训练，实现特征提取与融合组件的联合优化。
• 在融合网络中，通过学习的注意力机制或拼接操作，将两个模态的高层表征进行结合。

实验结果

研究问题

• RQ1 深度多模态框架能否有效结合文本与音频特征，以提升语音语言中的情绪识别性能？
• RQ2 在文本和音频模态中分别进行空间与时序建模，如何影响情绪识别的性能？
• RQ3 对整个网络进行端到端训练，是否能带来优于独立训练特征提取器与融合模块的性能提升？
• RQ4 引入低层次手工设计特征对最终情绪识别准确率有何影响？

主要发现

• 所提出的框架在 IEMOCAP 数据集上对五类情绪类别实现了 60.4% 的加权准确率。
• 特征提取与融合模块的联合训练相比独立训练，能带来性能提升。
• 低层次手工设计特征的整合增强了所学习表征的判别能力。
• 混合架构能有效捕捉文本中的空间模式（text）和音频中的时序模式（audio），从而提升情绪识别的鲁棒性。