[논문 리뷰] EmoGraph: Capturing Emotion Correlations using Graph Networks

Peng Xu, Zihan Liu외 3명|arXiv (Cornell University)|2020. 08. 21.

Advanced Text Analysis Techniques참고 문헌 36인용 수 27

한 줄 요약

EmoGraph는 다중 레이블 정감 데이터셋에서의 동시 발생 통계를 활용해 상호 정감 간 상관관계를 모델링하는 그래프 신경망 프레임워크를 제안한다. 이는 비대칭적 의존성 구조를 포착함으로써 특히 자원이 적은 정감에 대해 정감 분류 성능을 향상시킨다. EmoGraph는 다중 레이블 및 단일 레이블 정감 분류 과제에서 최신 기술 수준의 성능을 달성하며, 특히 희귀 정감인 '놀람'과 '신뢰'에 대해 매크로-F1에서 뚜렷한 향상을 보인다.

ABSTRACT

Most emotion recognition methods tackle the emotion understanding task by considering individual emotion independently while ignoring their fuzziness nature and the interconnections among them. In this paper, we explore how emotion correlations can be captured and help different classification tasks. We propose EmoGraph that captures the dependencies among different emotions through graph networks. These graphs are constructed by leveraging the co-occurrence statistics among different emotion categories. Empirical results on two multi-label classification datasets demonstrate that EmoGraph outperforms strong baselines, especially for macro-F1. An additional experiment illustrates the captured emotion correlations can also benefit a single-label classification task.

연구 동기 및 목표

• 기존의 정감 인식 모델이 정감을 상호 독립적으로 다루며 내재된 상호의존성과 흐린 관계를 忽시하는 한계를 해결하기 위해.
• 다중 레이블 및 단일 레이블 정감 인식 과제에서 정감 상관관계를 어떻게 포착하고 활용할 수 있는지 탐색하기 위해.
• 이론적 모델이나 대칭적/사전 정의된 정감 구조에 의존하지 않고, 실제 데이터셋에서 유도된 동시 발생 통계를 활용해 비대칭적 정감 의존성을 모델링하기 위해.
• '기쁨'과 '낙관'과 같은 자원이 풍부한 정감과의 구조적 관계를 활용해 '놀람'과 '신뢰'와 같은 자원이 적은 정감의 성능을 향상시키기 위해.
• 학습된 정감 상관관계가 다중 레이블 과제를 넘어서 단일 레이블 분류 과제도 포함한 일반화 능력을 보여주기 위해.

제안 방법

• 각 정감은 그래프의 노드로 표현되며, 에지의 가중치는 정감 쌍 간 비대칭적 의존성을 반영하기 위해 정규화된 동시 발생 통계로 설정된다.
• 공동 발생 행렬 M은 M_i,i를 사용해 정규화되어, 한 정감이 존재할 때 다른 정감이 존재할 조건부 확률을 캡처하며, 방향성 있는 관련성을 반영한다.
• 그래프 신경망(GNN), 특히 GCN와 GAT을 활용해 정감 노드 간 이웃 정보를 집계하고 각 정감의 맥락 기반 표현을 학습한다.
• 모델은 입력 텍스트를 인코딩하기 위해 사전 학습된 인코더(예: BERT 또는 어텐션 기반 LSTM)를 통합한 후, 그래프 기반 의존성 구조를 활용해 정감 표현을 개선하는 GNN 레이어를 적용한다.
• 최종 분류기 헤드는 다중 레이블 또는 단일 레이블 정감 출력을 예측하기 위해 엔드 투 엔드로 훈련되며, 정감 클래스 간 공유 파rameter를 통해 일반화 성능을 향상시킨다.
• 그래프 구조는 이론적 모델이 아닌 실제 데이터 통계에서 유도되므로, 텍스트 내 실제 정서 표현 패턴에 대한 경험적 관련성을 확보한다.

실험 결과

연구 질문

• RQ1 그래프 네트워크를 통해 상호 정감 간 상관관계를 모델링함으로써 다중 레이블 정감 분류 성능, 특히 자원이 적은 정감에 대해 향상시킬 수 있는가?
• RQ2 정감 간 비대칭적 동시 발생 통계가 대칭적 또는 사전 정의된 정감 구조에 비해 의미 있는 정감 의존성을 얼마나 잘 포착하는가?
• RQ3 다중 레이블 데이터셋에서 학습된 정감 상관관계가 단일 레이블 정감 분류 과제로 얼마나 잘 일반화되는가?
• RQ4 그래프 기반으로 학습된 의존성 구조가 '놀람'과 '신뢰'와 같은 희귀 정감에 대해 더 강건한 표현을 제공하는가?
• RQ5 GCN와 GAT과 같은 다양한 GNN 아키텍처는 정감 상관관계를 포착하고 매크로-F1 같은 분류 지표를 향상시키는 데 어떻게 성능을 내는가?

주요 결과

• EmoGraph는 SemEval-2018 다중 레이블 정감 분류 데이터셋에서 강력한 베이스라인들을 능가하며, BERT 대비 3.1% 향상된 매크로-F1을 기록했고, DATN 대비 2.5% 향상되었다.
• 자원이 적은 정감에 대해 가장 뚜렷한 성과를 보였다: '놀람'의 F1은 BERT의 18.7%에서 BERT-GAT의 31.9%로 상승했고, '신뢰'의 F1은 6.9%에서 14.8%로 상승했다.
• IEMOCAP 단일 레이블 데이터셋에서 EmoGraph는 LSTM 인코더를 사용할 경우 평균 F1을 8.5% 향상시키고, BERT 인코더를 사용할 경우 3.4% 향상시켜 강력한 일반화 능력을 입증했다.
• '공포'는 그래프에서 직접 연결이 없음에도 불구하고 F1이 10% 이상 향상되었으며, 이는 식 (4)의 W1을 통한 공유 표현 학습이 최적화에 기여했음을 시사한다.
• 그래프 시각화 결과는 플루치크의 정서 휠과 부분적으로 일치하며, 학습된 의존성이 알려진 정서 구조를 반영하고 있음을 확인한다. 다만 '놀람'이 '기쁨' 근처에 위치하는 등의 일부 이질성은 실제 언어적 편향을 반영한다.
• 정규화된 동시 발생 통계(G_i,j^1)의 사용은 비대칭적 정감 의존성을 효과적으로 포착하며, 현실 세계의 정서 관계를 모델링하는 데 대칭적 동시 발생 행렬보다 우수한 성능을 보였다.