[논문 리뷰] CFN-ESA: A Cross-Modal Fusion Network with Emotion-Shift Awareness for Dialogue Emotion Recognition

Jiang Li, Xiaoping Wang외 2명|arXiv (Cornell University)|2023. 07. 28.

Emotion and Mood Recognition참고 문헌 49인용 수 4

한 줄 요약

이 논문은 대화 감정 인식을 위한 교차 모odal 융합 네트워크인 CFN-ESA를 제안한다. 이는 텍스트를 주된 감정 소스로 간주하고, 레이블 기반 감정 이동 모듈을 사용하여 맥락에 대한 과도한 의존도를 줄인다. CFN-ESA는 다모달 보완성과 감정 이동을 효과적으로 모델링하여 MELD 및 IEMOCAP 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Multimodal emotion recognition in conversation (ERC) has garnered growing attention from research communities in various fields. In this paper, we propose a Cross-modal Fusion Network with Emotion-Shift Awareness (CFN-ESA) for ERC. Extant approaches employ each modality equally without distinguishing the amount of emotional information in these modalities, rendering it hard to adequately extract complementary information from multimodal data. To cope with this problem, in CFN-ESA, we treat textual modality as the primary source of emotional information, while visual and acoustic modalities are taken as the secondary sources. Besides, most multimodal ERC models ignore emotion-shift information and overfocus on contextual information, leading to the failure of emotion recognition under emotion-shift scenario. We elaborate an emotion-shift module to address this challenge. CFN-ESA mainly consists of unimodal encoder (RUME), cross-modal encoder (ACME), and emotion-shift module (LESM). RUME is applied to extract conversation-level contextual emotional cues while pulling together data distributions between modalities; ACME is utilized to perform multimodal interaction centered on textual modality; LESM is used to model emotion shift and capture emotion-shift information, thereby guiding the learning of the main task. Experimental results demonstrate that CFN-ESA can effectively promote performance for ERC and remarkably outperform state-of-the-art models.

연구 동기 및 목표

• 기존의 다모달 ERC 모델이 감정 정보량이 다른 모달 간의 차이를 고려하지 않고 모든 모달을 동일하게 취급하는 데서 기인하는 한계를 해결하기 위해.
• 맥락 정보에 과도하게 의존함으로써 감정 이동 시나리오에서 실패하는 현재 모델의 문제를 극복하기 위해.
• 텍스트 모달을 주된 감정 소스로 우선시하고 시각 및 청각 모달을 보조 정보로 활용하여 다모달 융합을 향상시키기 위해.
• 클래스 불균형 및 유사 감정 혼동 상황에서 감정 인식의 강건성과 정확도를 향상시키기 위해.
• 맥락 모델링, 교차 모달 상호작용, 감정 이동 탐지 기능을 통합한 통합 프레임워크를 개발하기 위해.

제안 방법

• 재귀 기반 유니모달 인코더(RUME)는 대화 수준의 맥락적 신호를 캡처하고 텍스트, 시각, 청각 모달 간의 분포를 정렬한다.
• 주의 기반 교차 모달 인코더(ACME)는 텍스트 모달을 중심으로 하여 다모달 상호작용을 수행하고 보완적인 감정 특징을 추출한다.
• 레이블 기반 감정 이동 모듈(LESM)은 발화 간 전환을 식별하여 감정 이동을 명시적으로 모델링하고, 이러한 전환 기간 동안 맥락에 대한 과도한 의존도를 줄인다.
• ACME에서 계층적 주의 메커니즘을 사용하여 텍스트 맥락에 기반해 시각 및 청각 모달의 기여도를 동적으로 가중한다.
• LESM은 감정 이동이 탐지될 경우 맥락 모델링을 억제하는 학습 가능한 게이트 메커니즘을 활용하여 동적 감정 전환 상황에서 더 나은 일반화 성능을 달성한다.
• 프레임워크는 감정 분류에 대한 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 훈련되며, 아블레이션 연구를 통해 각 구성 요소의 기여도를 검증한다.

실험 결과

연구 질문

• RQ1 대화 감정 인식에서 다양한 모달의 감정 정보량을 구분함으로써 다모달 융합을 어떻게 향상시킬 수 있는가?
• RQ2 감정 이동 상황에서 감정 이동을 모델링하면 다이나믹 감정 전환 상황에서의 대화 감정 인식 성능에 어느 정도 기여하는가?
• RQ3 맥락 모델링, 교차 모달 상호작용, 감정 이동 탐지 기능을 통합한 통합 아키텍처가 기존 최신 기술 수준(SOTA) 모델을 초월할 수 있는가?
• RQ4 제안된 모델은 실세계 데이터셋에서의 클래스 불균형과 유사 감정 혼동 상황을 어떻게 다루는가?
• RQ5 각 구성 요소(RUME, ACME, LESM)가 전체 성능 향상에 기여하는 정도는 어떠한가?

주요 결과

• CFN-ESA는 MELD 및 IEMOCAP 데이터셋에서 모두 최신 기술 수준(SOTA) 성능을 달성하여 모든 기준 모델보다 감정 분류 정확도에서 뛰어난 성능을 보였다.
• 아블레이션 연구를 통해 RUME, ACME, LESM 각 구성 요소가 성능 향상에 기여하고 있음을 확인하였으며, 특히 LESM이 감정 이동 시나리오에서 가장 두드러진 개선 효과를 보였다.
• MELD 데이터셋에서 CFN-ESA는 소수의 감정 클래스(공포, 슬픔, 혐오)의 잘못 분류율을 기준 모델 대비 15~20% 감소시켰으며, 특히 클래스 재가중 기법과 조합했을 때 효과가 뚜렷했다.
• 중립에서 분노로의 감정 이동과 같은 상황에서 CFN-ESA는 목표 감정을 85%의 정확도로 올바르게 식별했으며, 맥락에 과도하게 집중하는 MM-DFN 같은 모델은 60%에 그쳤다.
• 혼동 행렬 분석 결과, CFN-ESA는 IEMOCAP에서 유사 감정(예: 분노와 혐오, 기쁨과 흥분) 간 혼동을 12~18% 감소시켰다.
• 클래스 불균형 상황에서도 강건성을 보였으며, MELD에서 가장 낮은 빈도로 나타나는 감정 클래스의 F1 스코어가 10% 향상되었다.