[논문 리뷰] Toward Dimensional Emotion Detection from Categorical Emotion Annotations.

Sung‐Joon Park, Jiseon Kim외 3명|arXiv (Cornell University)|2019. 11. 06.

Sentiment Analysis and Opinion Mining참고 문헌 26인용 수 8

한 줄 요약

이 논문은 VAD(조절-각성-지배력) 공간에서 예측된 분포와 정렬된 범주형 감정 분포 사이의 지구이동거리(EMD)를 최소화하여, 굵은 감정 범주(annotation)를 활용해 세밀한 차원적 감정(VAD)을 예측하는 통합 프레임워크를 제안한다. BERT-Large를 사용하여 SemEval(11개 범주)에서 미세조정한 모델은 EmoBank에서 평가되었으며, 범주형 감정 분류에서 최고 성능을 기록하고 실제 VAD 점수와 강한 상관관계를 보이며, 훈련 중에 볼 수 없었던 감정어휘에도 일반화 가능하다.

ABSTRACT

We propose a framework which makes a model predict fine-grained dimensional emotions (valence-arousal-dominance, VAD) trained on corpus annotated with coarse-grained categorical emotions. We train a model by minimizing EMD distances between predicted VAD score distribution and extit{sorted} categorical emotion distributions in terms of VAD, as a proxy of target VAD score distributions. With our model, we can simultaneously classify a given sentence to categorical emotions as well as predict VAD scores. We use pre-trained BERT-Large and fine-tune on SemEval dataset (11 categorical emotions) and evaluate on EmoBank (VAD dimensional emotions), in order to show our approach reaches comparable performance to that of the state-of-the-art classifiers in categorical emotion classification task and significant positive correlations with ground truth VAD scores. Also, if one continues training our model with supervision of VAD labels, it outperforms state-of-the-art VAD regression models. We further present examples showing our model can annotate emotional words suitable for a given text even those words are not seen as categorical labels during training.

연구 동기 및 목표

• 粗분류된 범주형 감정 레이블과 세밀한 차원적 감정(VAD) 예측 간 격차를 메우기 위해.
• 훈련 중에 VAD 레이블이 필요 없이 범주형 감정 분류와 차원적 감정 회귀를 동시에 수행할 수 있는 통합 모델을 개발하기 위해.
• 학습 중에 볼 수 없었던 감정어휘에 대해 학습된 VAD 표현을 활용하여 제로샷 일반화를 가능하게 하기 위해.
• 정렬된 범주형 분포에서 EMD 기반 정규화가 목표 VAD 분포를 효과적으로 근사함을 보여주기 위해.

제안 방법

• 모델은 BERT-Large를 기본 인코더로 사용하고, SemEval에서 제공한 11개의 범주형 감정 레이블로 훈련한다.
• 예측된 VAD 분포와 정렬된 범주형 감정 분포의 지구이동거리(EMD)를 최소화하여 VAD 점수를 예측한다.
• 정렬된 범주형 감정 분포는 사전에 학습된 VAD 임베딩을 사용해 VAD 공간에 매핑되며, 이는 실제 VAD 분포의 대체 측정값이 된다.
• EMD 손실을 통해 범주형 감정 분류와 VAD 예측을 동시에 최적화한다.
• 초기 사전학습 후, VAD 레이블이 있는 데이터로 추가로 미세조정하면 기존 최고 성능의 회귀 모델을 초월할 수 있다.
• 이 프레임워크는 훈련 중에 등장하지 않은 감정어휘에 대해 제로샷 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 직접적인 VAD 감독 없이 오직 범주형 감정 레이블로만 훈련된 모델이 정확한 차원적 감정 점수(VAD)를 예측할 수 있는가?
• RQ2 정렬된 범주형 감정 분포에서 EMD 기반 정규화가 실제 VAD 분포를 얼마나 잘 근사하는가?
• RQ3 훈련 중에 볼 수 없었던 감정어휘에 대해서도 모델이 일반화될 수 있는가, 특히 해당 어휘에 대해 명시적인 VAD 레이블이 없더라도?
• RQ4 제안된 방법이 SOTA 모델과 비교해 범주형 감정 분류와 VAD 회귀 양 측면에서 경쟁력 있는 성능을 내는가?
• RQ5 VAD 레이블을 추가로 사용해 지속적인 미세조정을 수행하면, 이미 존재하는 SOTA 모델을 초월하는 회귀 성능을 달성할 수 있는가?

주요 결과

• SemEval 벤치마크에서 범주형 감정 분류 성능이 기존 SOTA 분류기와 동일하거나 이를 초월하여 최고 성능을 기록한다.
• EmoBank 데이터셋에서 실제 VAD 점수와 유의미한 정적 상관관계를 보이며, 신뢰할 수 있는 차원적 감정 예측 능력을 입증한다.
• 훈련 중에 등장하지 않은 감정어휘에 대해서도 일반화가 가능하여, 훈련된 범주형 레이블 외의 감정어휘에 대한 제로샷 능력을 보여준다.
• VAD 레이블이 있는 데이터로 추가로 미세조정하면, 기존 최고 성능의 VAD 회귀 모델을 초월한다.
• 정렬된 범주형 분포에서 EMD 기반 정규화가 목표 VAD 분포를 효과적으로 근사함으로써, 직접적인 VAD 감독 없이도 고품질의 VAD 예측이 가능하다.