[논문 리뷰] A Unified Framework for Emotion Recognition and Sentiment Analysis via Expert-Guided Multimodal Fusion with Large Language Models

Jiaqi Qiao, Xiujuan Xu외 2명|arXiv (Cornell University)|2026. 01. 12.

Emotion and Mood Recognition인용 수 0

한 줄 요약

EGMF는 텍스트, 오디오, 비주얼 신호를 세 가지 전문 전문가 네트워크와 계층적 다이나믹 게이팅으로 융합하고 LoRA-tuned LLMs와 통합하여 ERC 분류와 MSA 회귀를 수행하며 영어 및 중국어 데이터 세트에서 최첨단 결과를 달성하는 통합 다중모달 프레임워크를 제안한다.

ABSTRACT

Multimodal emotion understanding requires effective integration of text, audio, and visual modalities for both discrete emotion recognition and continuous sentiment analysis. We present EGMF, a unified framework combining expert-guided multimodal fusion with large language models. Our approach features three specialized expert networks--a fine-grained local expert for subtle emotional nuances, a semantic correlation expert for cross-modal relationships, and a global context expert for long-range dependencies--adaptively integrated through hierarchical dynamic gating for context-aware feature selection. Enhanced multimodal representations are integrated with LLMs via pseudo token injection and prompt-based conditioning, enabling a single generative framework to handle both classification and regression through natural language generation. We employ LoRA fine-tuning for computational efficiency. Experiments on bilingual benchmarks (MELD, CHERMA, MOSEI, SIMS-V2) demonstrate consistent improvements over state-of-the-art methods, with superior cross-lingual robustness revealing universal patterns in multimodal emotional expressions across English and Chinese. We will release the source code publicly.

연구 동기 및 목표

• Motivate unified modeling for ERC and MSA across languages.
• Develop an adaptive, expert-guided fusion mechanism for multimodal signals.
• Leverage large language models with prompt-based conditioning for unified generation tasks.
• Improve computational efficiency with LoRA fine-tuning.
• Demonstrate cross-lingual robustness on English and Chinese datasets.

제안 방법

• 세 가지 전문화된 전문가 네트워크를 도입: 미세한 로컬 전문가, 의미 연관성 전문가, 전역 맥락 전문가.
• 계층적 다이나믹 게이팅을 적용하여 전문가 출력의 가중치와 융합을Adaptive하게 조정.
• 교차 모달 주의를 활용하여 향상된 다중모달 표현을 생성.
• 텍스트를 포함한 더미 토큰을 주입하고 분류 및 회귀를 위한 프롬프트로 LLM 생성을 조건화.
• 기저 모델은 고정시키고 LoRA를 사용해 효율적으로 미세조정.

Figure 1: Architecture of the proposed EGMF framework.

실험 결과

연구 질문

• RQ1 전문가-guided 다중모달 융합이 하나의 프레임워크에서 감정 인식 및 감정 분석을 개선할 수 있는가?
• RQ2 교차 모달 상호작용과 다중 스케일 전문가가 영어와 중국어 간의 다언어 강건성에 어떻게 기여하는가?
• RQ3 LoRA 기반 미세조정이 효율성을 유지하면서 다국어 다중모달 정서 작업에 충분한가?
• RQ4 단일 생성 프레임워크가 ERC 분류와 MSA 회귀를 효과적으로 모두 처리할 수 있는가?

주요 결과

• EGMF는 MELD, CHERMA, MOSEI, SIMS-V2의 네 가지 이중언어 데이터 세트에서 최첨단 또는 경쟁적 결과를 달성한다.
• MOSEI에서 GLM3-6B를 사용하는 EGMF는 Acc-2 87.30, F1 87.09, Acc-7 55.38, MAE 0.496, Corr 0.801; SIMS-V2는 Acc-2 81.56, F1 81.13, Acc2 (weak) 73.09, MAE 0.284, Corr 0.733를 보인다.
• MELD 및 CHERMA에서: EGMF-GLM3-6B는 MELD에서 65.57 WF1, CHERMA에서 73.90 WF1를 달성( MELD의 경우 67.22 Acc 및 65.57 WF1; CHERMA의 경우 73.97 Acc 및 73.90 WF1).
• 다언어 분석은 중국어 데이터 세트에서 영어 데이터 세트보다 상대적 이득이 더 큰 경향을 보인다(+CHERMA의 3.36 WF1 증가; SIMS-V2의 F1 2.24 증가).
• LoRA 미세조정은 영어에서 일관된 이득(0.74%-1.40%)을 제공하는 반면, 중국어 데이터 세트에서는 다소 저하를 보이며 언어 특성에 따른 적응 필요성을 시사한다.
• ABlation은 텍스트 모듈이 가장 중요하며 텍스트 제거 시 성능이 급격히 하락하고, E1 및 E3(로컬 및 전역 전문가)가 두드러진 기여를 보이며 E2가 안정적인 이득을 제공한다.