[论文解读] A Unified Framework for Emotion Recognition and Sentiment Analysis via Expert-Guided Multimodal Fusion with Large Language Models

Jiaqi Qiao, Xiujuan Xu+2 more|arXiv (Cornell University)|Jan 12, 2026

Emotion and Mood Recognition被引用 0

一句话总结

EGMF 提出一个统一的多模态框架，使用三种专业专家网络结合分层动态门控，并与 LoRA 调整的LLM 集成，以执行 ERC 分类与 MSA 回归，在英语和中文数据集上实现最先进的结果。

ABSTRACT

Multimodal emotion understanding requires effective integration of text, audio, and visual modalities for both discrete emotion recognition and continuous sentiment analysis. We present EGMF, a unified framework combining expert-guided multimodal fusion with large language models. Our approach features three specialized expert networks--a fine-grained local expert for subtle emotional nuances, a semantic correlation expert for cross-modal relationships, and a global context expert for long-range dependencies--adaptively integrated through hierarchical dynamic gating for context-aware feature selection. Enhanced multimodal representations are integrated with LLMs via pseudo token injection and prompt-based conditioning, enabling a single generative framework to handle both classification and regression through natural language generation. We employ LoRA fine-tuning for computational efficiency. Experiments on bilingual benchmarks (MELD, CHERMA, MOSEI, SIMS-V2) demonstrate consistent improvements over state-of-the-art methods, with superior cross-lingual robustness revealing universal patterns in multimodal emotional expressions across English and Chinese. We will release the source code publicly.

研究动机与目标

• 在跨语言背景下推动 ERC 与 MSA 的统一建模。
• 开发一个自适应、由专家引导的多模态信号融合机制。
• 利用大语言模型并通过基于提示的条件化实现统一的生成任务。
• 通过 LoRA 微调提升计算效率。
• 在英语和中文数据集上展示跨语言鲁棒性。

提出的方法

• 引入三种专业专家网络：一个细粒度的局部专家、一个语义相关性专家和一个全局上下文专家。
• 应用分层动态门控来自适应地加权与融合专家输出。
• 使用跨模态注意力创建增强的多模态表征。
• 注入伪标记并通过提示对LLM 生成进行分类和回归的条件化。
• 在保持基础模型冻结的情况下高效地使用 LoRA 进行微调。

Figure 1: Architecture of the proposed EGMF framework.

实验结果

研究问题

• RQ1 一个专家引导的多模态融合是否可以在统一框架中提升情感识别与情感分析？
• RQ2 跨模态交互和多尺度专家如何促进英汉之间的跨语言鲁棒性？
• RQ3 在保持高效性的同时，基于 LoRA 的微调对多语言多模态情感任务是否足够？
• RQ4 是否存在一个单一的生成框架可以同时有效处理 ERC 分类与 MSA 回归？

主要发现

• EGMF 在四个双语数据集（MELD、CHERMA、MOSEI、SIMS-V2）上实现了最先进或具有竞争力的结果。
• 在 MOSEI 上，EGMF with GLM3-6B 达到 Acc-2 87.30、F1 87.09、Acc-7 55.38、MAE 0.496、Corr 0.801；SIMS-V2 显示 Acc-2 81.56、F1 81.13、Acc2 (weak) 73.09、MAE 0.284、Corr 0.733。
• 在 MELD 与 CHERMA：EGMF-GLM3-6B 在 MELD 上实现 65.57 WF1，在 CHERMA 上实现 73.90 WF1（MELD 为 67.22 Acc 和 65.57 WF1；CHERMA 为 73.97 Acc 和 73.90 WF1）。
• 跨语言分析显示在中文数据集上的相对增益更强（CHERMA 上 +3.36 WF1；SIMS-V2 上 +2.24 F1）比英语数据集更显著。
• LoRA 微调对英语带来持续性提升（0.74%-1.40%），在中文数据集上出现一定下降，凸显语言特定适应需求。
• 消融表明文本模态最为关键；移除文本会使性能大幅下降；E1 与 E3（局部与全局专家）贡献显著，E2 提供稳定增益。