[논문 리뷰] TSAM: A Two-Stream Attention Model for Causal Emotion Entailment

Duzhen Zhang, Zhen Yang외 3명|arXiv (Cornell University)|2022. 03. 02.

Sentiment Analysis and Opinion Mining인용 수 7

한 줄 요약

이 논문은 인과적 감정 함의(Causal Emotion Entailment, CEE) 성능을 향상시키기 위해 대화 기록에서 감정과 발화자 정보를 함께 모델링하는 Two-Stream Attention Model(이하 TSAM)을 제안한다. 상호작용을 위한 BiAffine 상호작용 모듈을 갖춘 감정 주의망(EAN)과 발화자 주의망(SAN)을 통합함으로써, TSAM은 내·외발화자 간 감정 영향을 포괄적으로 포착하며, RECCON 벤치마크에서 기존 SoTA 성능을 초월하는 매크로 F1 점수 80.24%를 달성한다.

ABSTRACT

Causal Emotion Entailment (CEE) aims to discover the potential causes behind an emotion in a conversational utterance. Previous works formalize CEE as independent utterance pair classification problems, with emotion and speaker information neglected. From a new perspective, this paper considers CEE in a joint framework. We classify multiple utterances synchronously to capture the correlations between utterances in a global view and propose a Two-Stream Attention Model (TSAM) to effectively model the speaker's emotional influences in the conversational history. Specifically, the TSAM comprises three modules: Emotion Attention Network (EAN), Speaker Attention Network (SAN), and interaction module. The EAN and SAN incorporate emotion and speaker information in parallel, and the subsequent interaction module effectively interchanges relevant information between the EAN and SAN via a mutual BiAffine transformation. Extensive experimental results demonstrate that our model achieves new State-Of-The-Art (SOTA) performance and outperforms baselines remarkably.

연구 동기 및 목표

• 이전 CEE 방법들이 대화 쌍을 독립적으로 다루며 전반적인 맥락과 발화자 특화 감정 영향을 간과하는 한계를 해결한다.
• 대화 기록 내 다수의 발화 간 상관관계를 포착하여 인과적 감정 함의 예측 성능을 향상시킨다.
• 통합된 프레임워크 내에서 내발화자(자기 유도) 및 외발화자(다른 사람 유도) 감정 영향을 명시적으로 모델링한다.
• 감정과 발화자 다이내믹스를 통합함으로써 영향력 있는 대화 시스템의 해석 가능성과 성능을 향상시킨다.
• CEE 작업에서 감정과 발화자 정보를 함께 모델링하는 것이 필수적이고 효과적인지 입증한다.

제안 방법

• TSAM 모델에 입력하기 전에 RoBERTa를 사용해 발화를 맥락적 표현으로 인코딩한다.
• 감정 임베딩을 기반으로 주의를 수행하는 감정 주의망(EAN)을 구현하여 발화-감정 상호작용을 모델링한다.
• 그래프 기반 주의 메커니즘을 통해 발화자 관계를 모델링하는 발화자 주의망(SAN)을 구성하여 발화-발화 상호작용을 포착한다.
• EAN과 SAN 간 이중 방향 정보 교환을 가능하게 하기 위해 상호작용 모듈에 이중 BiAffine 변환을 도입한다.
• 다중 TSAM 레이어를 스택하여 레이어 간 감정 및 발화자 정보를 반복적으로 정제하고 교환한다.
• 풍부해진 표현 기반으로 예측된 원인 발화를 출력하기 위해 최종 원인 예측 모듈을 사용한다.

실험 결과

연구 질문

• RQ1 대화 기록 내 다수의 발화를 함께 모델링하는 것이 독립적인 쌍 분류 대비 인과적 감정 함의 성능 향상에 기여하는가?
• RQ2 제안된 TSAM이 내발화자 감정 영향(예: 이전 발화의 기분 지속성)을 얼마나 효과적으로 포착하는가?
• RQ3 다른 발화자 발화에 의해 유도된 감정 영향(예: 감정 유도)을 모델링할 경우 예측 정확도는 얼마나 향상되는가?
• RQ4 감정 표현과 발화자 표현 간의 상호작용 메커니즘이 전체 모델 성능에 얼마나 중요한가?
• RQ5 정보 정제와 부정확성 간 균형을 고려할 때, 최적의 TSAM 레이어 수는 얼마인가?

주요 결과

• 제안된 TSAM 모델은 RECCON-DD 벤치마크에서 매크로 F1 점수 80.24%를 기록하여 이전 SoTA 모델을 크게 능가한다.
• SAN에 발화자 정보를 포함시킬 경우 매크로 F1 점수가 1.53점 향상되어(78.71에서 80.24로), 이는 발화자 정보의 핵심적 역할을 입증한다.
• 상호작용 모듈을 제거할 경우 매크로 F1 점수가 78.56으로 감소하여, EAN과 SAN 간 정보 교환의 필수성이 확인된다.
• TSAM가 없는 변형 대비 TSAM을 사용할 경우 내발화자 영향 예측 정확도는 1.76점, 외발화자 영향은 2.14점 향상된다.
• 세 개의 TSAM 레이어가 최적의 성능을 내며, 레이어 수가 적거나 많아지면 성능이 떨어지므로 정제 최적화를 위한 최적의 깊이임을 시사한다.
• 세 개 이상의 원인을 포함하는 발화에서는 성능이 6점 하락하며, 공감적 추론이 필요한 잠재적 원인에 대해서는 성능이 열악하다.