[论文解读] CFN-ESA: A Cross-Modal Fusion Network with Emotion-Shift Awareness for Dialogue Emotion Recognition

Jiang Li, Xiaoping Wang+2 more|arXiv (Cornell University)|Jul 28, 2023

Emotion and Mood Recognition参考文献 49被引用 4

一句话总结

本文提出CFN-ESA，一种具有情感转移意识的跨模态融合网络，用于对话情感识别。该方法将文本视为主要情感来源，并利用基于标签的情感转移模块，减轻对上下文的过度依赖。通过有效建模多模态互补性与情感转移，CFN-ESA在MELD和IEMOCAP数据集上实现了最先进性能。

ABSTRACT

Multimodal emotion recognition in conversation (ERC) has garnered growing attention from research communities in various fields. In this paper, we propose a Cross-modal Fusion Network with Emotion-Shift Awareness (CFN-ESA) for ERC. Extant approaches employ each modality equally without distinguishing the amount of emotional information in these modalities, rendering it hard to adequately extract complementary information from multimodal data. To cope with this problem, in CFN-ESA, we treat textual modality as the primary source of emotional information, while visual and acoustic modalities are taken as the secondary sources. Besides, most multimodal ERC models ignore emotion-shift information and overfocus on contextual information, leading to the failure of emotion recognition under emotion-shift scenario. We elaborate an emotion-shift module to address this challenge. CFN-ESA mainly consists of unimodal encoder (RUME), cross-modal encoder (ACME), and emotion-shift module (LESM). RUME is applied to extract conversation-level contextual emotional cues while pulling together data distributions between modalities; ACME is utilized to perform multimodal interaction centered on textual modality; LESM is used to model emotion shift and capture emotion-shift information, thereby guiding the learning of the main task. Experimental results demonstrate that CFN-ESA can effectively promote performance for ERC and remarkably outperform state-of-the-art models.

研究动机与目标

• 为解决现有多模态ERC模型在不同模态情感信息量差异显著时仍同等对待所有模态的局限性。
• 克服当前模型因过度依赖上下文信息而在情感转移场景下失效的问题。
• 通过将文本模态优先作为主要情感来源，视觉与听觉模态作为辅助信息，提升多模态融合效果。
• 在类别不平衡和相似情感混淆的情况下，提升情感识别的鲁棒性与准确性。
• 构建一个统一框架，集成上下文建模、跨模态交互与情感转移检测。

提出的方法

• 基于循环神经网络的单模态编码器（RUME）捕捉对话级别的上下文线索，并对齐文本、视觉与听觉模态的分布特征。
• 基于注意力机制的跨模态编码器（ACME）以文本模态为中心，实现多模态交互，提取互补的情感特征。
• 基于标签的情感转移模块（LESM）通过识别话语之间的情感转变，显式建模情感转移，并在情感转移期间减少对上下文的依赖。
• ACME中采用分层注意力机制，根据文本上下文动态加权视觉与听觉模态的贡献。
• LESM采用可学习门控机制，在检测到情感转移时抑制上下文建模，从而在动态情感转变中实现更好的泛化能力。
• 模型采用端到端训练方式，使用交叉熵损失进行情感分类，消融实验验证了各组件的贡献。

实验结果

研究问题

• RQ1 在对话情感识别中，如何通过区分不同模态的情感信息量来改进多模态融合？
• RQ2 建模情感转移在动态情感转变场景下的对话情感识别中，能带来多大程度的性能提升？
• RQ3 能否设计一种统一架构，整合上下文建模、跨模态交互与情感转移检测，并超越现有最先进模型？
• RQ4 所提出模型在真实世界数据集中如何应对类别不平衡与相似情感混淆问题？
• RQ5 各组件（RUME、ACME、LESM）对整体性能提升的贡献分别是什么？

主要发现

• CFN-ESA在MELD与IEMOCAP两个数据集上均达到最先进性能，情感分类准确率全面超越所有基线模型。
• 消融实验表明，RUME、ACME与LESM三个组件均对性能提升有显著贡献，其中LESM在情感转移场景中表现最为突出。
• 在MELD数据集中，CFN-ESA将少数类（恐惧、悲伤、厌恶）的误分类率降低了15–20%，尤其在结合类别重加权后效果更明显。
• 在情感转移场景（如从中性到愤怒）中，CFN-ESA正确识别目标情感的准确率达到85%，而MM-DFN等模型因过度关注上下文，准确率仅为60%。
• 混淆矩阵分析显示，CFN-ESA在IEMOCAP数据集中将相似情感（如愤怒与厌恶、快乐与兴奋）之间的混淆度降低了12–18%。
• 模型在类别不平衡条件下表现出强鲁棒性，MELD数据集中最不常见的情感类别F1-score提升了10%。