[논문 리뷰] Joyful: Joint Modality Fusion and Graph Contrastive Learning for Multimodal Emotion Recognition

Dongyuan Li, Yusong Wang외 2명|arXiv (Cornell University)|2023. 11. 18.

Emotion and Mood Recognition인용 수 6

한 줄 요약

Joyful은 다중모odal 정서 인식을 위한 공동 최적화 프레임워크를 제안하며, 다중모달 융합, 그래프 대비 학습(GCL), 종단간 정서 분류를 통합한다. 이는 전역적 맥락과 모odal별 특화된 특징을 모두 유지하는 새로운 융합 메커니즘을 도입하고, 상호 및 내부 뷰 대비 학습을 통해 과도한 스무스닝을 완화하며 표현의 분별력을 향상시켜 세 가지 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Multimodal emotion recognition aims to recognize emotions for each utterance of multiple modalities, which has received increasing attention for its application in human-machine interaction. Current graph-based methods fail to simultaneously depict global contextual features and local diverse uni-modal features in a dialogue. Furthermore, with the number of graph layers increasing, they easily fall into over-smoothing. In this paper, we propose a method for joint modality fusion and graph contrastive learning for multimodal emotion recognition (Joyful), where multimodality fusion, contrastive learning, and emotion recognition are jointly optimized. Specifically, we first design a new multimodal fusion mechanism that can provide deep interaction and fusion between the global contextual and uni-modal specific features. Then, we introduce a graph contrastive learning framework with inter-view and intra-view contrastive losses to learn more distinguishable representations for samples with different sentiments. Extensive experiments on three benchmark datasets indicate that Joyful achieved state-of-the-art (SOTA) performance compared to all baselines.

연구 동기 및 목표

• 기존의 그래프 기반 방법이 다중모달 정서 인식에서 겪는 문제, 특히 과도한 스무스닝과 전역적 및 단일모달 특징의 열악한 융합을 해결하기 위해.
• 융합된 표현을 그래프 모델링 이전에 고정하는 두 단계 파이프라인의 성능이 최적화되지 않는 문제를 해결하기 위해.
• 다중모달 융합, 그래프 대비 학습, 정서 인식을 공동으로 최적화하여 표현의 분별력을 향상시키기 위해.
• 주제 인식 기반 융합 메커니즘을 통해 전역적 맥락 정보를 통합하면서도 모달별 특성의 의미를 유지하기 위해.
• 그래프 증강 및 대비 학습 전략을 통해 강인성과 일반화 능력을 향상시키기 위해.

제안 방법

• 전역적 맥락 표현과 단일모달 특화된 특징을 별도로 모델링하는 새로운 다중모달 융합 메커니즘을 제안하며, 주제 관련 벡터를 통해 맥락의 안정성을 시간에 따라 유지한다.
• 단일모달 특징을 공통 부분공간에 투영하여 의미의 풍부함을 유지하면서도 다중모달 간의 정렬을 유지한다.
• 유사한 감정 샘플과 다른 감정 샘플 간의 표현 분별력을 향상시키기 위해 상호 뷰 및 내부 뷰 대비 손실을 포함한 그래프 대비 학습 프레임워크를 도입한다.
• 학습된 표현의 강인성과 일반화 능력을 향상시키기 위해 그래프 증강 전략(예: 노드 마스킹, 엣지 제거)을 적용한다.
• 다중모달 융합, GCL, 정서 인식을 종단간 최적화하기 위해 통합 목적 함수를 사용하여 전역 최적화를 달성한다.
• 다이얼로그 턴 간 전역 맥락 표현의 일관성을 유지하기 위해 동적으로 업데이트되는 주제 관련 벡터를 사용한다.

실험 결과

연구 질문

• RQ1 다중모달 융합, 그래프 대비 학습, 정서 인식의 공동 최적화가 순차적 또는 두 단계 파이프라인보다 성능 향상에 기여하는가?
• RQ2 새로운 융합 메커니즘이 다중모달 대화에서 전역적 맥락과 모달별 특징을 효과적으로 유지하는가?
• RQ3 그래프 대비 학습이 다중모달 정서 인식을 위한 깊은 GNN에서 과도한 스무스닝을 어느 정도 완화하는가?
• RQ4 제안된 방법이 다양한 다중모달 정서 인식 벤치마크에서 일반화되는 정도는 어떠한가?
• RQ5 그래프 증강 및 대비 학습 전략이 자원이 제한되거나 노이즈가 많은 모달 조건에서 표현의 분별력에 어떤 영향을 미치는가?

주요 결과

• Joyful은 다중모달 정서 인식을 위한 세 가지 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하여 기존 SOTA 방법을 초월했다.
• 융합, 대비 학습, 정서 인식의 공동 최적화는 이중 단계 기반 베이스라인 대비 표현 품질 향상과 과도한 스무스닝 감소에 기여했다.
• 제안된 융합 메커니즘은 전역적 맥락과 모달별 특징을 효과적으로 유지하여 특징의 풍부성과 정렬을 향상시켰다.
• 상호 및 내부 뷰 손실을 포함한 그래프 대비 학습은 유사한 감정 클래스와 다른 감정 클래스 간 표현의 분별력을 크게 향상시켰다.
• 특히 노이즈가 많거나 모호한 모달 조건에서 효과적인 그래프 증강 전략을 통해 모델은 강인성과 일반화 능력을 입증했다.
• MSA 작업에서는 더 강력한 텍스트 모달 중심 모델에 비해 성능이 열등했지만, MERC 작업에서는 뛰어난 성능을 기록하여 대화 수준의 정서 인식을 위한 설계의 타당성을 입증했다.