[논문 리뷰] Knowledge-Enriched Transformer for Emotion Detection in Textual Conversations

Peixiang Zhong, Di Wang외 1명|arXiv (Cornell University)|2019. 09. 24.

Sentiment Analysis and Opinion Mining참고 문헌 64인용 수 9

한 줄 요약

이 논문은 계층적 자기주의 어텐션을 통한 문맥 모델링과 외부 일반지식(ConceptNet 및 NRC_VAD에서 유래)을 동적으로 통합하는 문맥 인식 감정 그래프 어텐션 메커니즘을 통합함으로써 대화 텍스트에서 감정 탐지에 적합한 지식 기반 트랜스포머(KET)를 제안한다. KET는 다양한 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 이전 모델 대비 상당한 F1 점수 향상을 보이며, 문맥과 일반지식을 동시에 활용하는 효과성을 입증한다.

ABSTRACT

Messages in human conversations inherently convey emotions. The task of detecting emotions in textual conversations leads to a wide range of applications such as opinion mining in social networks. However, enabling machines to analyze emotions in conversations is challenging, partly because humans often rely on the context and commonsense knowledge to express emotions. In this paper, we address these challenges by proposing a Knowledge-Enriched Transformer (KET), where contextual utterances are interpreted using hierarchical self-attention and external commonsense knowledge is dynamically leveraged using a context-aware affective graph attention mechanism. Experiments on multiple textual conversation datasets demonstrate that both context and commonsense knowledge are consistently beneficial to the emotion detection performance. In addition, the experimental results show that our KET model outperforms the state-of-the-art models on most of the tested datasets in F1 score.

연구 동기 및 목표

• 기존 모델에서 자주 간과되는 문맥과 일반지식이 중요한 감정 탐지 과제를 해결하기 위해.
• 외부 지식 기반에서 유래한 계층적 문맥 모델링과 동적, 문맥 인식, 감정 관련 지식 통합을 통해 감정 탐지 성능을 향상시키기 위해.
• 암묵적 또는 미묘한 감정 표현이 포함된 경우에 문맥 정보와 일반지식이 감정 탐지에 미치는 영향을 조사하기 위해.
• 다양한 대화 도메인에 일반화되고, 자원이 제한된 또는 多국어 환경에 적응 가능한 모델을 개발하기 위해.

제안 방법

• KET는 대화의 문맥과 응답을 인코더 및 디코더 브랜치로 분리하여 효율적인 대화 구조 모델링이 가능한 계층적 자기주의 어텐션 메커니즘을 사용한다.
• 모델은 상호 발언 간 의존성을 포착하기 위해 교차 어텐션을 사용하며, 이로써 디코더가 인코더로부터 관련 문맥을 참조할 수 있다.
• 외부 일반지식은 ConceptNet에서 검색되며, 실체 임베딩을 통해 단어에 연결되며, 문맥 인식 감정 그래프 어텐션 메커니즘에 의해 관련성에 따라 가중치가 부여된다.
• 학습 가능한 파rameter λk를 사용하여 어텐션 메커니즘이 관련성과 감정성 간의 균형을 동적으로 조정함으로써 감정 관련성에 기반한 지식 주입을 최적화한다.
• 지식 실체는 NRC_VAD를 사용하여 감정 값(조절성, 각성도, 지배력)으로 풍부화되며, 이는 어텐션 메커니즘이 감정적으로 민감한 지식 쪽으로 유도하는 데 사용된다.
• 다중 클래스 감정 분류에 대해 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 모델을 훈련하며, 문맥 및 지식 구성 요소의 기여도를 검증하기 위해 추상화 연구(ablation studies)를 실시한다.

실험 결과

연구 질문

• RQ1 RNN 또는 CNN 기반 모델 대비 계층적 자기주의 어텐션을 통합함으로써 대화적 맥락에서 감정 탐지 성능이 어떻게 향상되는가?
• RQ2 외부 지식 기반에서 동적으로 일반지식을 통합할 경우 감정 탐지 성능 향상 정도는 어느 정도인가?
• RQ3 감정 탐지에 있어 어텐션 메커니즘에서 지식의 관련성과 감정성 간 최적의 트레이드오프는 무엇인가?
• RQ4 감정 복잡도와 데이터 크기가 다양한 대화 데이터셋에서 모델의 성능는 어떠한가?
• RQ5 다국어 지식 기반과 감정 어휘를 사용할 경우, 자원이 제한된 또는 다국어 환경에서 모델이 일반화 가능한가?

주요 결과

• KET는 테스트된 모든 데이터셋에서 최신 기술 수준(SOTA) F1 점수를 기록하였으며, EC(0.7451), DailyDialog(0.5544), MELD(0.5401), EmoryNLP(0.3712), IEMOCAP(0.5389)에서 이전 모델을 능가하였다.
• 추상화 연구 결과, 문맥 또는 지식을 제거할 경우 성능 저하가 심각하게 발생하였으며, 특히 장문의 대화에서 문맥의 영향력이 더 크다는 것이 확인되었다.
• 감정 그래프 어텐션 메커니즘의 최적 λk 값은 0.3에서 0.7 사이에 위치하며, λk=0.7일 때 대부분의 데이터셋에서 최고의 성능을 기록하였다.
• ConceptNet 크기가 증가할수록 성능 향상이 이루어지며, 특정 임계값을 초과하면 포화 상태에 도달함으로써 광범위한 일반지식의 가치를 확인하였다.
• 모델은 혐오와 공포 감정 탐지에 가장 어려움을 겪었으며, 특히 MELD에서 공포 감정의 F1 점수가 0.0667로 매우 낮게 나타났다. 이는 낮은 조절성과 높은 각성도 유사성 및 제한된 훈련 데이터로 인한 것이다.
• 모델은 다양한 도메인에서 뛰어난 견고성을 보이며, 다국어 지식 기반과 감정 어휘를 활용해 다른 언어로도 적응 가능하다.