[논문 리뷰] GA2MIF: Graph and Attention Based Two-Stage Multi-Source Information Fusion for Conversational Emotion Detection

Jiang Li, Xiaoping Wang외 2명|arXiv (Cornell University)|2022. 07. 25.

Sentiment Analysis and Opinion Mining참고 문헌 48인용 수 4

한 줄 요약

이 논문은 대화형 정서 감지에 위한 이중 단계 다중모달 융합 프레임워크인 GA2MIF를 제안한다. 이는 내모달 맥락 모델링을 위해 다중헤드 방향성 그래프 어텐션(MDGAT)을, 이질적 모달 간 상호작용을 위해 다중헤드 쌍별 교차모달 어텐션(MPCAT)을 사용한다. 맥락 윈도우를 활용해 중복 연결을 줄이고 이질적 그래프 입력 문제를 피함으로써, GA2MIF는 IEMOCAP 데이터셋에서 SOTA 수준의 가중 F1 스코어 70.00%를 달성하며 이전의 SOTA 모델들을 크게 능가한다.

ABSTRACT

Multimodal Emotion Recognition in Conversation (ERC) plays an influential role in the field of human-computer interaction and conversational robotics since it can motivate machines to provide empathetic services. Multimodal data modeling is an up-and-coming research area in recent years, which is inspired by human capability to integrate multiple senses. Several graph-based approaches claim to capture interactive information between modalities, but the heterogeneity of multimodal data makes these methods prohibit optimal solutions. In this work, we introduce a multimodal fusion approach named Graph and Attention based Two-stage Multi-source Information Fusion (GA2MIF) for emotion detection in conversation. Our proposed method circumvents the problem of taking heterogeneous graph as input to the model while eliminating complex redundant connections in the construction of graph. GA2MIF focuses on contextual modeling and cross-modal modeling through leveraging Multi-head Directed Graph ATtention networks (MDGATs) and Multi-head Pairwise Cross-modal ATtention networks (MPCATs), respectively. Extensive experiments on two public datasets (i.e., IEMOCAP and MELD) demonstrate that the proposed GA2MIF has the capacity to validly capture intra-modal long-range contextual information and inter-modal complementary information, as well as outperforms the prevalent State-Of-The-Art (SOTA) models by a remarkable margin.

연구 동기 및 목표

• 이질적 모달 입력과 중복 그래프 연결 문제로 어려움을 겪는 기존의 다중모달 대화형 정서 인식 모델의 한계를 해결한다.
• 각 모달 내의 장거리 맥락적 의존성과 모달 간 상보적 정보를 효과적으로 모델링함으로써 정서 감지 정확도를 향상시킨다.
• 모든 모달을 동일한 노드로 간주하여 GNN의 가정을 위반하는 기존 그래프 기반 모델(MMGCN 등)의 단점을 극복한다.
• 정교한 어텐션 메커니즘과 구조적 융합을 통해 유사 정서(예: 슬픔 vs 분노)의 오분류를 줄인다.
• 공개 벤치마크인 IEMOCAP과 MELD에서 이중 및 삼중 모달 설정 모두에서 뛰어난 성능을 입증한다.

제안 방법

• 텍스트, 음성, 시각 모달 각각에 대해 다중헤드 방향성 그래프 어텐션 네트워크(MDGAT)를 사용해 내모달 장거리 의존성 모델링을 수행한다.
• 완전히 연결된 그래프 대신, 문장 간 유의미한 간선을 구성하기 위해 맥락 윈도우 메커니즘을 도입하여 중복성을 줄인다.
• 다중헤드 쌍별 교차모달 어텐션 네트워크(MPCAT)를 적용해 문장 수준에서 서로 다른 모달 간 상보적 상호작용을 포착한다.
• MDGAT의 특징 집합을 향상시키기 위해 새로운 합- tích 업데이트 함수를 설계한다.
• 이중 단계 융합 전략을 구현한다: 먼저 MDGAT를 통해 내모달 맥락을 모델링하고, 그 다음 MPCAT를 통해 교차모달 이해를 위한 모달 융합을 수행한다.
• 모달 전용 임베딩을 입력으로 사용하며, 어텐션 메커니즘이 시간과 모달 간 관련 특징을 동적으로 가중한다.

실험 결과

연구 질문

• RQ1 이중 단계 그래프 및 어텐션 기반 융합 프레임워크는 다중모달 대화 데이터의 내모달 장거리 의존성을 효과적으로 모델링할 수 있는가?
• RQ2 완전히 연결된 그래프 대비 맥락 윈도우를 사용한 간선 구성 방식은 중복성을 줄이면서도 필수적인 맥락 관계를 유지하는 데 얼마나 효과적인가?
• RQ3 MDGAT와 MPCAT가 동종 그래프 기반 모델 대비 교차모달 상호작용과 정서 인식 성능을 얼마나 향상시킬 수 있는가?
• RQ4 제안된 GA2MIF 모델은 기존 SOTA 모델 대비 슬픔과 분노와 같은 유사 정서의 오분류를 줄일 수 있는가?
• RQ5 벤치마크 데이터셋에서 다양한 모달 조합(예: 텍스트-음성, 텍스트-시각, 전체 삼중 모달)에 대해 모델 성능은 어떻게 나타나는가?

주요 결과

• GA2MIF는 IEMOCAP 데이터셋에서 삼중 모달 설정에서 가중 F1 스코어 70.00%를 달성하며, MMGCN을 포함한 모든 베이스라인 모델을 크게 능가한다.
• IEMOCAP 데이터셋에서 음성-텍스트 설정은 정확도 67.47%와 F1 스코어 67.49%를 기록했으며, 이는 시각-텍스트 설정 대비 각각 7.77점과 7.64점 높은 성능이다.
• MMGCN 대비 실제 슬픔 정서가 분노로 오분류되는 비율을 7.75% 감소시켰으며, 이는 15.51%에서 7.76%로 하락한 것이다.
• IEMOCAP 및 MELD 데이터셋에서 삼중 모달 설정이 항상 모든 이중 모달 설정보다 뛰어나며, 전체 다중모달 통합의 이점을 확인한다.
• GA2MIF는 IEMOCAP과 MELD 양쪽 데이터셋에서 뛰어난 강인성과 일반화 능력을 보이며 일관된 정확도 및 F1 스코어 향상을 통해 SOTA 성능을 달성한다.
• 제거 실험 결과, MDGAT와 MPCAT 모두 성능 향상에 기여하며, 맥락 윈도우 메커니즘이 모델 용량을 유지하면서도 중복 연결을 효과적으로 줄인다.