[논문 리뷰] COGMEN: COntextualized GNN based Multimodal Emotion recognitioN

Abhinav Joshi, Ashwani Bhat외 3명|arXiv (Cornell University)|2022. 05. 05.

Advanced Graph Neural Networks인용 수 8

한 줄 요약

COGMEN는 그래프 트랜스포머와 자기어텐션을 사용하여 국소적 화자 간 의존성(내/외부 개인 간)과 전반적인 대화 맥락을 모두 포착하는 컨텍스트 기반 그래프 신경망(GNN)-기반 다중모odal 정서 인식 모델을 제안한다. 이는 최신 기술 수준(SOTA) 성능을 달성하며, IEMOCAP(4방향)에서 F1 점수를 7.7% 향상시켰고, 국소적 및 전반적 정보의 핵심 역할을 아우르는 추론 실험을 통해 이를 입증한다.

ABSTRACT

Emotions are an inherent part of human interactions, and consequently, it is imperative to develop AI systems that understand and recognize human emotions. During a conversation involving various people, a person's emotions are influenced by the other speaker's utterances and their own emotional state over the utterances. In this paper, we propose COntextualized Graph Neural Network based Multimodal Emotion recognitioN (COGMEN) system that leverages local information (i.e., inter/intra dependency between speakers) and global information (context). The proposed model uses Graph Neural Network (GNN) based architecture to model the complex dependencies (local and global information) in a conversation. Our model gives state-of-the-art (SOTA) results on IEMOCAP and MOSEI datasets, and detailed ablation experiments show the importance of modeling information at both levels.

연구 동기 및 목표

• 대화에서 국소적 화자 간 의존성과 전반적 대화 맥락을 모두 포착하는 다중모달 정서 인식 시스템을 개발하는 것.
• 기존의 RNN 기반 및 단일모달 모델이 화자 간 복잡한 정서적 동역학을 모델링하는 데 한계를 보이는 문제를 해결하는 것.
• 통합된 GNN 기반 아키텍처를 사용하여 음성, 영상, 텍스트 모달을 융합함으로써 정서 예측 성능을 향상시키는 것.
• 그래프 트랜스포머가 대화 내 상호 및 내부 개인 정서적 의존성을 모델링하는 데 효과적인지를 입증하는 것.
• 향후 다중모달 정서 인식 분야의 연구를 위해 코드를 공개하고 재현 가능한 결과를 제공하는 것.

제안 방법

• 모델은 그래프 트랜스포머를 사용하여 발화 간 상관관계를 인코딩하여 화자 간 및 화자 내 정서적 동역학을 모두 모델링한다.
• 장거리 전반적 맥락을 전체 대화 시퀀스로부터 포착하기 위해 자기어텐션 메커니즘을 활용한다.
• 모달 특징(텍스트, 음성, 영상)은 별도로 처리된 후 그래프 인코딩 이전에 후기 융합 전략을 사용하여 융합된다.
• 공통된 정서 분류기가 컨텍스트 기반 그래프 표현에서 각 발화의 정서 레이블을 예측한다.
• 클래스 불균형 문제를 고려하여 교차 엔트로피 손실에 포칼 웨이팅을 적용하여 IEMOCAP 및 MOSEI에서 엔드 투 엔드로 학습된다.
• 통제된 실험을 통해 GNN, 전반적 맥락, 다중모달 융합의 기여도를 아우르는 추론 실험을 수행한다.

실험 결과

연구 질문

• RQ1 GNN 기반 아키텍처는 다중모달 대화에서 국소적(내/외부 화자 간) 및 전반적(대화 수준) 정서적 의존성을 얼마나 효과적으로 모델링할 수 있는가?
• RQ2 국소적 의존성과 전반적 맥락 중 어느 것이 다중모달 정서 인식 성능 향상에 더 큰 기여를 하는가?
• RQ3 다중모달 융합은 단일모달 또는 조기 융합 기반 모델에 비해 정서 인식 성능 향상에 얼마나 기여하는가?
• RQ4 제안된 그래프 트랜스포머 기반 아키텍처는 RNN 기반 및 GCN 기반 모델에 비해 정서적 동역학을 얼마나 잘 포착하는가?
• RQ5 IEMOCAP 및 MOSEI와 같은 다양한 데이터셋 간에서 일반화 성능를 유지하면서 최신 기술 수준 성능를 달성할 수 있는가?

주요 결과

• COGMEN는 이전 최신 기술 수준 모델 대비 IEMOCAP(4방향) 데이터셋에서 F1 점수를 7.7%p 향상시켰다.
• 추론 실험 결과 국소적(화자 간 의존성) 및 전반적(맥락) 정보가 모두 필수적임을 확인하였으며, 둘 중 하나를 제거할 경우 성능이 크게 저하됨을 입증하였다.
• IEMOCAP 및 MOSEI 데이터셋 양쪽에서 bc-LSTM, Af-CAN, DialogueGCN 등의 강력한 베이스라인을 모두 능가하는 성능를 보였다.
• 다중모달 융합은 일관되게 성능 향상을 이끌었으며, 특히 텍스트, 음성, 영상의 세 모달 모두를 사용할 경우 성능 향상이 가장 두드러졌다.
• 오류 분석 결과 오류 분류는 주로 의미적으로 유사한 정서 클래스 간에 발생하였으며, 미세한 정서 구분 능력 향상 여지가 있음을 시사한다.
• 제한된 맥락 창을 가진 온라인 추론 실험에서 짧은 대화일 경우 성능 저하가 발생함을 확인하였으며, 이는 최적의 성능 달성을 위해 전체 대화 맥락이 필수적임을 강조한다.