[论文解读] Convolutional Attention Networks for Multimodal Emotion Recognition from Speech and Text Data

Chan Woo Lee, Kyu Ye Song+2 more|arXiv (Cornell University)|May 17, 2018

Emotion and Mood Recognition参考文献 12被引用 17

一句话总结

本文提出了一种用于多模态情感识别的卷积注意力网络，利用注意力机制动态加权跨模态的相关特征。在CMU-MOSEI数据集上的评估表明，该模型通过有效捕捉跨模态依赖关系，相较于简单的特征拼接基线模型，在情感识别任务中实现了更高的分类准确率。

ABSTRACT

Emotion recognition has become a popular topic of interest, especially in the field of human computer interaction. Previous works involve unimodal analysis of emotion, while recent efforts focus on multi-modal emotion recognition from vision and speech. In this paper, we propose a new method of learning about the hidden representations between just speech and text data using convolutional attention networks. Compared to the shallow model which employs simple concatenation of feature vectors, the proposed attention model performs much better in classifying emotion from speech and text data contained in the CMU-MOSEI dataset.

研究动机与目标

• 为解决单模态情感识别的局限性，通过整合语音和文本模态以提升性能。
• 开发一种深度学习模型，以捕捉语音和文本特征之间的复杂非线性交互。
• 通过学习多模态输入的动态注意力加权表示，提升情感分类准确率。
• 展示卷积注意力机制在情感计算中建模跨模态依赖关系的有效性。

提出的方法

• 该模型采用卷积神经网络（CNN）从原始语音和文本输入中提取分层的时间特征。
• 注意力机制用于学习模态特定的重要性权重，使网络能够聚焦于各模态中的显著特征。
• 注意力模块的输出被拼接后输入最终分类器以进行情感预测。
• 该架构使用交叉熵损失和随机梯度下降进行端到端训练。
• 该方法通过在两个模态的时间特征序列上使用一维卷积，以处理序列数据。
• 注意力机制在特征图上计算软注意力权重，实现语音和文本表示的动态融合。

实验结果

研究问题

• RQ1 卷积注意力网络能否有效从语音和文本中学习跨模态表示以用于情感识别？
• RQ2 所提出的基于注意力的融合方法在分类准确率上相较于简单拼接单模态特征的方法有何差异？
• RQ3 注意力机制在多大程度上提升了模型聚焦于多模态输入中相关情感线索的能力？
• RQ4 所提出的方法在真实世界多模态情感识别数据集（如CMU-MOSEI）上是否具有良好的泛化能力？

主要发现

• 所提出的卷积注意力网络在性能上优于使用简单特征拼接的浅层基线模型。
• 注意力机制使模型能够动态强调语音和文本中更具信息量的特征，从而改善决策边界。
• 该模型在CMU-MOSEI数据集上表现出更高的分类准确率，表明其具备有效的跨模态表征学习能力。
• 结果表明，注意力机制在建模语音和文本情感线索之间复杂依赖关系方面具有显著效果。