[논문 리뷰] EmotionX-IDEA: Emotion BERT -- an Affectional Model for Conversation

Yen-Hao Huang, Ssu-Rui Lee외 4명|arXiv (Cornell University)|2019. 08. 17.

Topic Modeling참고 문헌 10인용 수 38

한 줄 요약

논문은 대화의 인과 발화 모델링과 데이터셋 특화 사전학습으로 BERT를 대화 감정 인식에 적응시키고, Friends에서 micro F1 0.815, EmotionPush에서 0.885를 달성한다.

ABSTRACT

In this paper, we investigate the emotion recognition ability of the pre-training language model, namely BERT. By the nature of the framework of BERT, a two-sentence structure, we adapt BERT to continues dialogue emotion prediction tasks, which rely heavily on the sentence-level context-aware understanding. The experiments show that by mapping the continues dialogue into a causal utterance pair, which is constructed by the utterance and the reply utterance, models can better capture the emotions of the reply utterance. The present method has achieved 0.815 and 0.885 micro F1 score in the testing dataset of Friends and EmotionPush, respectively.

연구 동기 및 목표

• 대화에서 preceding utterance의 컨텍스트를 활용하여 정확한 감정 인식을 도모한다.
• Friends(대본 대화)와 EmotionPush(채팅) 데이터 간의 도메인 차이를 해결한다.
• 감정 주석의 데이터 부족 및 라벨 불균형을 완화한다.
• 인과 발화 모델링과 전문 사전학습으로 보강된 BERT 기반 프레임워크를 제안한다.
• EmotionLines 데이터셋에서 기존 기준선 대비 향상된 성능을 입증한다.

제안 방법

• 대상 발화를 직전 발화와 연결하여 x_t = concat(u_t, u_{t-1})로 대화를 인과 발화 쌍으로 재구성한다.
• 두 가지 도메인에 맞춘 사전 학습 모델을 개발한다: FriendsBERT(대본 Friends 데이터)와 ChatBERT(Twitter/채팅 스타일 데이터).
• Friends에 캐릭터 특성 단서를 인코딩하는 퍼소나/토큰화 스킴을 적용하고, EmotionPush에 대해 비공식 텍스트 처리(속어, 이모지, 엔티티 등)를 적용한다.
• 라벨 불균형을 다루기 위해 가중된 NLL 손실로 파인튜닝하고 [CLS] 임베딩을 분류에 활용하며_dense 출력 계층을 사용한다.
• 표준 BERT 파인튜닝으로 학습하되 입력 구조를 두 문장 형식과 인과 발화 표현에 맞게 조정한다.
• 전통적 기준선(BOW, TFIDF) 및 TextCNN 변형과 비교하고, 마이크로 F1을 주요 지표로 보고한다.

실험 결과

연구 질문

• RQ1 인과 발화 모델링이preceding context를 활용하여 대화에서 감정 탐지 성능을 향상시킬 수 있는가?
• RQ2 도메인에 특화된 프리트레이닝 전략(FriendsBERT, ChatBERT)이 대본 기반 대화와 채팅 유사 대화에서 더 나은 성능을 낼까?
• RQ3 가중 손실이 감정 라벨의 클래스 불균형을 완화하고 학습을 안정화하는 데 도움이 되는가?
• RQ4 단일 문장 입력 형식과 두 문장 입력 형식이 BERT 기반 대화 감정 분류에 어떤 영향을 미치는가?
• RQ5 제안된 모델의 성능이 EmotionLines 데이터셋에서 전통적 기준선 대비 얼마나 차이가 나는가?

주요 결과

• FriendsBERT 및 ChatBERT가 테스트 데이터에서 더 우수한 micro F1을 달성: 0.815(Friends) 및 0.885(EmotionPush).
• 인과 발화 모델링은 TextCNN의 성능을 Anger에서 최대 6포인트, Joy에서 2포인트 개선시키고, 전체 F1도 설정에 따라 ~1-6포인트의 이점을 가져온다.
• 초기 학습에서의 가중 손실은 대다수 감정과 소수 감정 간의 성능 균형을 돕고 소수 클래스(예: Anger, Sadness)를 강화한다.
• 전통적 기준선(BOW, TFIDF)은 높은 전체 F1을 달성하지만 소수 감정에서의 성능이 낮다.
• 두 가지 맞춤형 프리트레이닝 체계(FriendsBERT- Friends 스크립트, ChatBERT- Twitter 데이터)가 도메인 편향과 데이터 부족을 완화하는 데 도움을 준다.
• 가장 우수한 변형은 FriendsBERT-base 및 FriendsBERT-large로 Friends 실험들 사이에서 최상위 검증 지표를 보였다.