[논문 리뷰] EmotionX-KU: BERT-Max based Contextual Emotion Classifier

Kisu Yang, Dongyub Lee외 3명|arXiv (Cornell University)|2019. 06. 27.

Sentiment Analysis and Opinion Mining참고 문헌 21인용 수 24

한 줄 요약

이 논문은 전이 학습과 동적 최대 풀링을 활용하여 대화에서의 정서 검출을 향상시키는 BERT-Max 기반의 문맥 정서 분류기인 EmotionX-KU를 제안한다. 후기 훈련, 미세 조정 및 가중 교차 엔트로피 손실을 통합함으로써, EmotionX 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하여 Friends 및 EmotionPush 데이터셋 모두에서 최고의 성능을 기록하였으며, 마이크로-F1 스코어는 최대 86.3%에 이르렀다.

ABSTRACT

We propose a contextual emotion classifier based on a transferable language model and dynamic max pooling, which predicts the emotion of each utterance in a dialogue. A representative emotion analysis task, EmotionX, requires to consider contextual information from colloquial dialogues and to deal with a class imbalance problem. To alleviate these problems, our model leverages the self-attention based transferable language model and the weighted cross entropy loss. Furthermore, we apply post-training and fine-tuning mechanisms to enhance the domain adaptability of our model and utilize several machine learning techniques to improve its performance. We conduct experiments on two emotion-labeled datasets named Friends and EmotionPush. As a result, our model outperforms the previous state-of-the-art model and also shows competitive performance in the EmotionX 2019 challenge. The code will be available in the Github page.

연구 동기 및 목표

• 대화의 맥락에 따라 의미가 달라지는 비공식적이고 다중 턴 대화에서의 문맥 정서 분류 과제를 해결하기 위해.
• 희귀 정서인 '기쁨'과 '슬픔'과 같은 정서에 대해 특히 심각한 클래스 불균형 문제를 완화하기 위해.
• 대화 전용 코퍼스에서의 후기 훈련과 목표 데이터셋에서의 미세 조정을 통해 정서 분류기의 도메인 적응 능력을 향상시키기 위해.
• 문맥 표현 학습과 효과적인 시퀀스 모델링 기법을 융합하여 EmotionX 공동 과제에서의 성능을 향상시키기 위해.

제안 방법

• 모델은 12개의 레이어, 768개의 은닉 차원, 12개의 어텐션 헤드를 가진 사전 훈련된 소문자 BERT-Base 인코더를 사용하여 문맥화된 발화 인코딩을 수행한다.
• 변동 길이의 대화를 효과적으로 모델링하기 위해, 순차적 표현에 대해 동적 최대 풀링을 적용하여 고정 크기의 맥락 인식 발화 임베딩을 생성한다.
• 다음 문장 예측(NSP) 및 마스킹 언어 모델링(MLM) 작업을 사용하여 도메인 특화 대화 코퍼스(Friends, EmotionPush, Emory)에서 후기 훈련을 수행한다.
• 희귀 정서에 특히 중점을 두어 클래스 불균형 문제를 해결하기 위해, 가중 교차 엔트로피 손실을 사용하여 미세 조정을 수행한다.
• 정확도와 일반화 능력을 향상시키기 위해 추론 단계에서 5겹 교차 검증을 활용한 앙상블 전략을 적용한다.
• 입력 시퀀스를 최대 512 토큰으로 잘라내며, Adam 옵timizer와 스케줄링된 학습률을 사용하여 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 BERT와 같은 이식 가능한 언어 모델이 다중 턴 대화에서 정서 분류를 위해 문맥적 종속성을 효과적으로 포착할 수 있는가?
• RQ2 정서 예측을 위한 맥락적으로 관련 있는 특징을 유지하는 데 있어, 동적 최대 풀링이 평균 풀링보다 어떻게 더 우수한가?
• RQ3 대화 전용 코퍼스에서의 후기 훈련이 자원이 적은 정서 클래스에서의 성능 향상에 얼마나 기여하는가?
• RQ4 가중 교차 엔트로피 손실의 통합이 불균형 정서 데이터셋에서 성능 향상에 실제로 기여하는가?
• RQ5 여러 폴드에 걸친 앙상블 학습이 EmotionX 벤치마크에서 모델의 일반화 능력과 견고성을 더욱 향상시킬 수 있는가?

주요 결과

• EmotionX-KU 모델은 Friends 및 EmotionPush 데이터셋을 함께 훈련한 경우, EmotionPush 데이터셋에서 마이크로-F1 스코어 86.3%를 기록하여 이전 최신 기술 수준 모델을 능가한다.
• Friends 데이터셋에서, 두 데이터셋을 함께 훈련한 경우 모델은 마이크로-F1 스코어 77.5%를 기록하여 도메인 간 일반화 능력이 뛰어나다는 것을 입증한다.
• 희귀 정서인 '기쁨'과 '슬픔'에 대한 성능은 후기 훈련과 가중 손실 덕분에 크게 향상되었으며, EmotionPush에서 각각 F1 스코어가 61.0%와 74.7%로 상승했다.
• 동적 최대 풀링은 평균 풀링보다 통합 훈련 시나리오에서 일관되게 뛰어난 성능을 보였으며, 특히 EmotionPush 데이터셋에서 평균 풀링보다 0.6% 높은 마이크로-F1 스코어를 기록했다.
• 5겹 교차 검증을 활용한 앙상블 모델은 가장 높은 성능을 기록하여, 모델 평균화가 견고성과 일반화 능력을 향상시킨다는 것을 시사한다.
• 도메인 특화 대화 데이터에서의 후기 훈련은 두 데이터셋에서 모두 마이크로-F1 스코어 1.5–2.5% 향상으로 이어졌으며, 도메인 적응에서의 효과를 확인한다.