[논문 리뷰] DialogueGCN: A Graph Convolutional Neural Network for Emotion Recognition in Conversation

Deepanway Ghosal, Navonil Majumder외 3명|arXiv (Cornell University)|2019. 08. 30.

Topic Modeling인용 수 8

한 줄 요약

이 논문은 대화에서 대화자 간 및 자기 자신과의 의존 관계를 모델링하기 위해 발화의 방향성 있는 그래프를 사용하는 DialogueGCN이라는 그래프 컬러션 네트워크를 제안한다. 관계적 엣지 특징을 통해 장거리 문맥적 관계를 포착함으로써, IEMOCAP, MELD, AVEC에서 기존의 RNN 기반 모델을 능가하며, F1 점수 64.18%와 MAE 0.157의 최신 기술 수준 성능을 달성한다.

ABSTRACT

Emotion recognition in conversation (ERC) has received much attention, lately, from researchers due to its potential widespread applications in diverse areas, such as health-care, education, and human resources. In this paper, we present Dialogue Graph Convolutional Network (DialogueGCN), a graph neural network based approach to ERC. We leverage self and inter-speaker dependency of the interlocutors to model conversational context for emotion recognition. Through the graph network, DialogueGCN addresses context propagation issues present in the current RNN-based methods. We empirically show that this method alleviates such issues, while outperforming the current state of the art on a number of benchmark emotion classification datasets.

연구 동기 및 목표

• 대화 정서 인식(ERC)에서 장거리 문맥적 의존성을 포착하는 데에 한계가 있는 RNN 기반 모델의 문제점을 해결하기 위해.
• 대화의 정서적 역동성을 더 잘 포착하기 위해 대화자 간 및 내재적(자기 자신과의) 의존성을 모두 모델링하기 위해.
• 순차적인 RNN이 아닌 그래프 신경망을 활용하여 먼 발화 간의 문맥 전파를 향상시키기 위해.
• 관계적 엣지 특징(대화자 및 시간적 의존성)이 정확한 정서 분류에 핵심적임을 입증하기 위해.
• RNN이 실패하는 짧은 발화나 복잡한 정서적 맥락에서도 모델이 잘 일반화됨을 보여주기 위해.

제안 방법

• 각 노드가 발화를 나타내는 방향성 있는 그래프를 구성하고, 엣지는 발화 간의 대화자 의존성과 상대적 시간적 위치를 인코딩한다.
• 장거리 의존성 모델링을 가능하게 하기 위해 그래프 컬러션 네트워크(GCN)를 두 층으로 구성하여 그래프 전역에서 문맥 정보를 전파한다.
• 두 가지 유형의 엣지 관계를 도입: 대화자 수준의 의존성(누가 누구에게 말하는가)과 시간적 의존성(대화 내 상대적 위치).
• 그래프 전파 이전에 발화 및 대화자 고유의 표현을 학습하기 위해 순차적 인코더(양방향 GRU)와 대화자 수준 인코더를 적용한다.
• 기준 데이터셋에서 다중 클래스 정서 분류를 위한 교차 엔트로피 손실을 사용하여 모델을 엔드 투 엔드로 훈련시킨다.
• 발화 간 엣지를 정의하기 위해 크기가 (10,10)인 컨텍스트 윈도우를 사용하여 과거 및 미래의 맥락을 모두 포착한다.

실험 결과

연구 질문

• RQ1 RNN 기반 모델과 비교해 대화자 간 및 자기 자신과의 의존성을 모델링하는 것이 대화 정서 인식 성능을 향상시키는가?
• RQ2 관계적 엣지 특징(대화자 및 시간적 의존성)의 포함 여부가 모델 성능에 어떤 영향을 미치는가?
• RQ3 순차적인 RNN과 비교해 그래프 기반 접근 방식이 짧거나 모호한 발화에 대해 문맥 전파를 더 잘 처리하는가?
• RQ4 모델의 다양한 구성 요소(예: 순차적 인코더 대비 대화자 수준 인코더)가 전체 성능에 기여하는 정도는 어느 정도인가?
• RQ5 다중 모odal 데이터를 포함한 데이터셋에서 텍스트 특징만 사용할 경우 모델의 성능은 어떻게 되는가?

주요 결과

• DialogueGCN는 IEMOCAP 데이터셋에서 기존 최신 기술 수준 모델을 크게 앞서는 최신 기술 수준의 F1 점수 64.18%를 달성한다.
• MELD 데이터셋에서 DialogueGCN는 F1 점수 64.18%를 기록하여 다양한 대화 맥락에 걸쳐 강력한 일반화 성능을 보여준다.
• AVEC 데이터셋에서 DialogueGCN는 평균 절대 오차(MAE) 0.157을 기록하며 이전 최신 기술 수준 방법을 능가한다.
• 절단 실험 결과, 순차적 인코더와 대화자 수준 인코더를 모두 제거할 경우 F1 점수는 36.75%로 감소하여 이들이 문맥 모델링에 핵심적인 역할을 한다는 것을 확인한다.
• RNN 기반 모델이 실패하는 경우에도, 맥락적으로 적절할 경우 짧은 발화 'okay'를 '화가 난'으로 정확히 분류하는 등 모델의 성능이 뛰어나다.
• 오류 분석 결과, 정확도가 낮아지는 경우는 주로 의미적으로 유사한 정서 간 오류(예: '화가 난' vs. '분노', '흥분' vs. '행복')에서 자주 발생하며, 미묘한 정서적 차이를 구분하는 데 어려움이 있음을 시사한다.