[논문 리뷰] MMGCN: Multimodal Fusion via Deep Graph Convolution Network for Emotion Recognition in Conversation

Jingwen Hu, Yuchen Liu외 2명|arXiv (Cornell University)|2021. 07. 14.

Sentiment Analysis and Opinion Mining참고 문헌 25인용 수 5

한 줄 요약

이 논문은 다중모달(텍스트, 오디오, 시각) 특징을 융합하면서 대화에서 장거리 맥락적 의존성과 발화자별 동적 특성을 모델링하는 딥 그래프 컬러션 네트워크인 MMGCN을 제안한다. 교차 모달성 및 발화자 인식 연결을 갖춘 다중모달 그래프를 구성하고, 잔차 연결을 사용한 깊이 있는 스펙트럴 GCN을 적용함으로써, IEMOCAP(66.22% 정확도)와 MELD(58.65% 정확도)에서 최신 기술을 초월하는 성능을 달성한다.

ABSTRACT

Emotion recognition in conversation (ERC) is a crucial component in affective dialogue systems, which helps the system understand users' emotions and generate empathetic responses. However, most works focus on modeling speaker and contextual information primarily on the textual modality or simply leveraging multimodal information through feature concatenation. In order to explore a more effective way of utilizing both multimodal and long-distance contextual information, we propose a new model based on multimodal fused graph convolutional network, MMGCN, in this work. MMGCN can not only make use of multimodal dependencies effectively, but also leverage speaker information to model inter-speaker and intra-speaker dependency. We evaluate our proposed model on two public benchmark datasets, IEMOCAP and MELD, and the results prove the effectiveness of MMGCN, which outperforms other SOTA methods by a significant margin under the multimodal conversation setting.

연구 동기 및 목표

• 기존 모델이 다중발화자 대화에서 다중모달 상호작용과 장거리 맥락적 의존성을 효과적으로 포착하지 못하는 한계를 해결하기 위해.
• 단순한 특징 연결 방식이 교차 모달 상호작용을 모델링하지 못하는 데서 비롯되는 단점을 극복하기 위해.
• 발화자 신원 정보를 그래프 구조에 통합하여 발화자 간 및 발화자 내 의존성을 모델링하기 위해.
• 과도한 계산 비용 없이도 더 나은 표현 학습을 가능하게 하는 깊이 있는 스펙트럴 도메인 GCN 아키텍처를 개발하기 위해.

제안 방법

• MMGCN는 각 모달리티(텍스트, 오디오, 시각) 내에서 완전 연결 그래프를 구성하여 발화 간 내모달 의존성을 모델링한다.
• 다른 모달리티에서 동일한 발화를 나타내는 노드 간에 교차 모달 엣지를 설정함으로써 다중모달 특징 상호작용을 가능하게 한다.
• 발화자 신원은 발화자 임베딩을 통해 인코딩되고 그래프에 통합되어 발화자 간 및 발화자 내 의존성을 모델링한다.
• 잔차 연결을 사용한 스펙트럴 도메인 GCN을 적용하여 깊이 있는 네트워크 아키텍처(최대 32층)를 구현함으로써 특징 학습을 향상시킨다.
• 다중모달 융합은 조기 융합을 통해 수행되며, 모달리티별 특징이 GCN 처리 이전에 연결되며, 후기 융합 및 주의 기반 방법보다 뛰어난 성능을 보인다.
• 그래프 컬러션 레이어는 근접한 발화뿐만 아니라 장거리 발화로부터도 맥락 정보를 집계하며, 주의 히트맵을 통해 이를 입증한다.

실험 결과

연구 질문

• RQ1 딥 그래프 컬러션 네트워크는 다중모달 대화 데이터에서 장거리 맥락적 의존성을 효과적으로 모델링할 수 있는가?
• RQ2 그래프 구조에 발화자 신원 정보를 통합함으로써 정서 인식 성능은 어떻게 향상되는가?
• RQ3 다중모달 융합 메커니즘이 기존의 특징 연결 또는 주의 기반 융합 방식보다 ERC에서 더 우수한 성능을 내는가?
• RQ4 다중모달 정서 인식을 위한 GCN 아키텍처의 최적 깊이(층수)는 얼마인가?
• RQ5 다양한 융합 전략(조기 융합, 후기 융합, 게이트 주의, MFN, MulT)이 MMGCN 프레임워크와 결합되었을 때 어떻게 비교되는가?

주요 결과

• MMGCN는 IEMOCAP 데이터셋에서 66.22%의 정확도를 기록하여, 다음으로 우수한 방법보다 1.5% 이상 높은 성능을 보였다.
• MELD 데이터셋에서는 58.65%의 정확도를 달성하여 다중모달 ERC 분야에서 새로운 최고 기록을 수립했다.
• 제거 실험 결과, 발화자 임베딩을 제거할 경우 성능이 크게 하락함(65.76%, p < 0.05)을 확인하여 그 중요성을 입증했다.
• MMGCN의 최적 깊이는 4층이며, 8층 이상일 경우 성능이 약간 떨어짐으로써 깊이와 과적합 사이의 상충 관계를 보여주었다.
• 조기 융합을 사용한 MMGCN는 IEMOCAP과 MELD 양 데이터셋에서 후기 융합, 게이트 주의, MFN, MulT보다 항상 뛰어난 성능을 보였으며, 그래프 기반 융합 전략의 효과성을 확인했다.
• 사례 연구 결과, 복잡하고 정서적으로 뜨거운 대화에서도 MMGCN가 장거리 발화(예: 3번째 발화)에 주의를 기울이는 것으로 나타나, 강력한 맥락 모델링 능력을 보였다.