[논문 리뷰] Topic-Driven and Knowledge-Aware Transformer for Dialogue Emotion Detection

Lixing Zhu, Gabriele Pergola외 3명|arXiv (Cornell University)|2021. 06. 02.

Sentiment Analysis and Opinion Mining참고 문헌 39인용 수 11

한 줄 요약

이 논문은 포인터 네트워크와 가감 주의 메커니즘을 통해 미세조정된 주제 표현과 Atomic 및 ConceptNet에서 유래한 일반지식을 통합함으로써 주제 중심이고 지식 인식적인 트랜스포머 모델인 TodKat을 제안한다. 주제적 맥락과 정서적 지식을 동시에 모델링하여 네 가지 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하며, 주제 인식 주의 메커니즘과 지식 통합을 통해 정서 분류 성능을 크게 향상시킨다.

ABSTRACT

Emotion detection in dialogues is challenging as it often requires the identification of thematic topics underlying a conversation, the relevant commonsense knowledge, and the intricate transition patterns between the affective states. In this paper, we propose a Topic-Driven Knowledge-Aware Transformer to handle the challenges above. We firstly design a topic-augmented language model (LM) with an additional layer specialized for topic detection. The topic-augmented LM is then combined with commonsense statements derived from a knowledge base based on the dialogue contextual information. Finally, a transformer-based encoder-decoder architecture fuses the topical and commonsense information, and performs the emotion label sequence prediction. The model has been experimented on four datasets in dialogue emotion detection, demonstrating its superiority empirically over the existing state-of-the-art approaches. Quantitative and qualitative results show that the model can discover topics which help in distinguishing emotion categories.

연구 동기 및 목표

• 대화에서 주제에 크게 의존하고 암묵적인 일반지식이 필요한 정서 탐지 과제를 해결하기 위해.
• 기존 모델들이 주제 테마와 정서적 맥락과 같은 종합적인 대화 특성을 모델링하지 못하는 한계를 극복하기 위해.
• Atomic 및 ConceptNet과 같은 지식 기반에서 유래한 미세조정된 주제 표현과 구조화된 일반지식을 통합하여 정서 탐지 성능을 향상시키기 위해.
• 맥락적 및 주제적 신호를 바탕으로 정서 레이블 시퀀스를 예측하는 트랜스포머 인코더-디코더 아키텍처를 기반으로 한 시퀀스-투-시퀀스 프레임워크를 개발하기 위해.

제안 방법

• 대화 데이터셋에서 미세조정된 주제 보강 언어 모델을 통해 잠재적 주제를 추출하여 자원이 제한된 환경에서 표현력을 향상시킨다.
• 이벤트 기반 관계(예: sE, oE)를 사용해 Atomic 지식 기반에서 일반지식을 검색하고, ConceptNet에서도 유사도 기반으로 관련성을 필터링한 후 포인터 네트워크를 통해 선별한다.
• 맥락적 및 주제 인식 쿼리 벡터를 기반으로 가장 중요한 지식 조각을 선택하기 위해 가감 주의 메커니즘을 적용한다.
• 트랜스포머 기반 인코더-디코더 아키텍처를 사용해 종단 간 시퀀스-투-시퀀스 정서 레이블 예측을 수행하며, 발화 간 의존성을 모델링한다.
• 주제 기반 주의 메커니즘을 적용해 유연하게 관련 지식과 주제에 주목함으로써 모호한 발화의 구분 능력을 향상시킨다.
• 게이팅 메커니즘을 통해 다중 지식 소스를 통합하여 주제 및 일반지식 신호의 선택적 융합을 가능하게 한다.

실험 결과

연구 질문

• RQ1 주제적 맥락에 따라 발화 의미가 달라지는 대화에서 주제 인식 표현 학습이 정서 탐지 성능을 향상시킬 수 있는가?
• RQ2 Atomic 및 ConceptNet에서 유래한 세분화된 일반지식 통합이 정서 분류 성능에 어떤 영향을 미치는가?
• RQ3 주제 기반 주의 메커니즘이 모호한 정서 표현을 구분하는 데 모델의 능력을 어느 정도 향상시키는가?
• RQ4 다양한 일반지식 관계 유형(sWant, oEffect 등)의 포함 여부가 다양한 대화 데이터셋에서 일관되게 모델 성능을 향상시키는가?
• RQ5 제안된 트랜스포머 기반 Seq2Seq 프레임워크가 장거리 정서적 의존성을 포착하는 데서 순환 모델 대비 어떤가?

주요 결과

• TodKat은 DailyDialog, MELD, IEMOCAP, EmoryNLP 네 가지 벤치마크 데이터셋에서 최신 기술 수준의 성능을 기록하며 마이크로-F1 점수에서 뚜렷한 향상을 보였다.
• IEMOCAP에서 'sE' 및 'oE' 관계 유형을 통합했을 때 정서 탐지 성능이 0.5% 향상되었으며, 이는 데이터셋의 높은 사건 밀도 때문일 가능성이 있다.
• Atomic의 9개 관계 유형을 모두 추가하면 대부분의 데이터셋에서 성능이 저하되었으며, 이는 모든 지식 유형이 유익한 것은 아니며 일부는 노이즈를 유발할 수 있음을 시사한다.
• 주제 기반 주의 메커니즘이 관련 지식을 효과적으로 식별하여 오분류를 줄였다. 예를 들어, 'Oh my God, you’re a freak.'라는 문장에서 '화가' 대신 '기쁨'을 정확히 예측하는 데 기여했다.
• MELD에서 발견된 주제와 정서 레이블 간 상관계수가 가장 높았으며, 이는 0.6429로 이 데이터셋에서 주제와 정서의 강한 일치를 시사한다.
• 정성적 분석 결과, 모델이 해석 가능한 주제를 학습하여 정서 카테고리 간 구분에 기여하는 것으로 확인되었으며, 예를 들어 '음식 및 레스토랑' 주제가 긍정적 정서와 연관됨을 보였다.