[논문 리뷰] UniMSE: Towards Unified Multimodal Sentiment Analysis and Emotion Recognition

Guimin Hu, Ting-En Lin외 4명|arXiv (Cornell University)|2022. 11. 21.

Sentiment Analysis and Opinion Mining인용 수 11

한 줄 요약

이 논문은 감성 분석과 정서 인식을 공유된 특징, 레이블, 모델을 통해 동시에 모델링하는 통합 다중모odal 프레임워크인 UniMSE를 제안한다. 사전 훈련된 모odal 융합층, 대비 학습, 통합된 보편적 레이블을 도입함으로써 UniMSE는 MOSI, MOSEI, MELD, IEMOCAP 네 가지 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하여 다중모달 표현 학습에서 향상된 정확도와 일관성을 입증한다.

ABSTRACT

Multimodal sentiment analysis (MSA) and emotion recognition in conversation (ERC) are key research topics for computers to understand human behaviors. From a psychological perspective, emotions are the expression of affect or feelings during a short period, while sentiments are formed and held for a longer period. However, most existing works study sentiment and emotion separately and do not fully exploit the complementary knowledge behind the two. In this paper, we propose a multimodal sentiment knowledge-sharing framework (UniMSE) that unifies MSA and ERC tasks from features, labels, and models. We perform modality fusion at the syntactic and semantic levels and introduce contrastive learning between modalities and samples to better capture the difference and consistency between sentiments and emotions. Experiments on four public benchmark datasets, MOSI, MOSEI, MELD, and IEMOCAP, demonstrate the effectiveness of the proposed method and achieve consistent improvements compared with state-of-the-art methods.

연구 동기 및 목표

• 감성 분석과 정서 인식이 심리학적 및 표현적으로 상호 보완적이지만 기존 방법들이 이를 별개의 과제로 다루는 격차를 해소하기 위해.
• 감성 및 정서 과제를 위한 다중모달 입력 특징, 출력 레이블, 모델 아키텍처를 통합하기 위해.
• 텍스트의 다중 수준(구문 및 의미)에서 청각 및 시각 신호를 융합하여 다중모달 표현 학습을 향상시키기 위해.
• 감성과 정서 간의 다중모달 대비 학습을 통해 일반화 능력과 분류 능력을 향상시키기 위해.
• 다양한 다중모달 벤치마크에서 통합 프레임워크의 효과성을 검증하기 위해.

제안 방법

• 감성 분석과 정서 인식을 하나의 생성 과제로 간주하는 통합 다중모달 감성-지식 공유 프레임워크( UniMSE)를 제안한다.
• T5 기반 트랜스포머 아키텍처 내에서 다중 수준의 텍스트 표현(구문 및 의미)과 청각 및 시각 특징을 융합하는 사전 훈련된 모달 융합(PMF) 레이어를 도입한다.
• 정서와 감성의 의미 유사도 기반으로 공유된 임베딩 공간에 정의된 보편적 레이블(UL)을 제안하여 공동 예측을 가능하게 한다.
• 다중 모달 간의 내부 클래스 분산 최소화와 외부 클래스 분산 최대화를 위해 다중모달 대비 학습(CL)을 적용하여 분류 능력 향상된 표현 학습을 강화한다.
• 감성 및 정서 예측 과제를 위한 통합 출력을 생성하기 위해 T5 기반 인코더-디코더 구조를 활용한다.
• T-SNE 시각화를 통해 긍정적 감성과 기쁨 정서, 원본 및 생성된 정서 레이블의 표현이 동일한 특징 공간을 차지하고 있음을 확인하여, 감성과 정서의 프레임워크 통합성이 검증된다.

실험 결과

연구 질문

• RQ1 심리학적 및 의미적 유사성 기반으로 감성과 정서를 하나의 다중모달 표현 공간에 효과적으로 통합할 수 있는가?
• RQ2 감성과 정서의 공동 모델링이 다중모달 감성 분석 및 정서 인식 과제 성능을 향상시키는가?
• RQ3 텍스트, 청각, 시각 특징의 다중 수준 융합이 통합 프레임워크 내에서 표현 학습을 어떻게 향상시키는가?
• RQ4 다중 모달 간의 대비 학습이 다중모달 임베딩의 분류 능력을 어느 정도 향상시키는가?
• RQ5 통합 프레임워크는 MOSI, MOSEI, MELD, IEMOCAP와 같은 다양한 벤치마크에서 일반화 가능한가?

주요 결과

• UniMSE는 MOSI, MOSEI, MELD, IEMOCAP 네 가지 벤치마크 데이터셋에서 모든 지표(MAE, 상관계수(Corr), ACC-2, F1)에서 최신 기술 수준(SOTA) 성능을 달성한다.
• MOSI 데이터셋에서 UniMSE는 MAE 0.691과 상관계수 0.809을 기록하여 이전 SOTA 방법을 초월한다.
• 제거 실험 결과, 청각(A) 또는 시각(V) 모달리티, PMF, 대비 학습(CL)을 제거할 경우 성능 저하가 발생하여 각 요소의 효과성을 확인한다.
• 훈련에서 IEMOCAP과 MELD를 제거할 경우 MOSI에서 성능 저하가 발생하여 교차 과제 지식 전이의 이점이 있음을 시사한다.
• T-SNE 시각화 결과, 긍정적 감성과 기쁨 정서, 원본 및 생성된 정서 레이블의 표현이 동일한 특징 공간을 점유하고 있음을 확인하여, 감성과 정서의 통합이 성공적으로 이루어졌음을 검증한다.
• 혼합된 데이터셋으로도 훈련한 경우 모델의 성능이 안정적으로 유지되어 통합 프레임워크의 일반화 능력을 입증한다.