[논문 리뷰] Emotional Embeddings: Refining Word Embeddings to Capture Emotional Content of Words

Armin Seyeditabari, Narges Tabari외 2명|arXiv (Cornell University)|2019. 05. 31.

Sentiment Analysis and Opinion Mining참고 문헌 20인용 수 14

한 줄 요약

이 논문은 플루치크의 감정 휠과 NRC 감정 어휘를 사용하여 사전 훈련된 단어 임베딩에 감정적 의미를 통합하기 위한 후기 훈련 개선 방법을 제안한다. 심리학적 감정 모델과 일치하도록 단어 벡터를 최적화함으로써, 감정 유사도 지표가 Word2Vec 기준 13%에서 GloVe 기준 29%까지 향상되었으며, 감정에 민감한 임베딩이 영향력 있는 NLP 작업에서 성능을 향상시킨다는 것을 입증한다.

ABSTRACT

Word embeddings are one of the most useful tools in any modern natural language processing expert's toolkit. They contain various types of information about each word which makes them the best way to represent the terms in any NLP task. But there are some types of information that cannot be learned by these models. Emotional information of words are one of those. In this paper, we present an approach to incorporate emotional information of words into these models. We accomplish this by adding a secondary training stage which uses an emotional lexicon and a psychological model of basic emotions. We show that fitting an emotional model into pre-trained word vectors can increase the performance of these models in emotional similarity metrics. Retrained models perform better than their original counterparts from 13% improvement for Word2Vec model, to 29% for GloVe vectors. This is the first such model presented in the literature, and although preliminary, these emotion sensitive models can open the way to increase performance in variety of emotion detection techniques.

연구 동기 및 목표

• 표준 단어 임베딩가 의미적 및 문법적 작업에서 성공을 거두었음에도 불구하고 감정적 내용을 포착하는 데에 한계가 있음에 대비하여 이를 해결하고자 한다.
• 재학습 없이도 사전 훈련된 단어 임베딩에 감정적 의미를 강화할 수 있는 방법을 개발하고자 한다.
• 감정 제약 조건을 사용해 임베딩을 개선하는 것이 감정 유사도 지표 성능 향상에 기여하는지 평가하고자 한다.
• 향후 영향력 있는 NLP 애플리케이션에서 사용할 수 있는 감정에 민감한 단어 표현 기반 설정을 수립하고자 한다.

제안 방법

• 플루치크의 감정 휠과 NRC 감정 어휘에서 유도된 감정 제약 조건을 사용해 사전 훈련된 단어 임베딩을 후기 훈련 단계로 개선한다.
• 반대 감정 카테고리에 속한 단어들 간의 코사인 유사도를 최소화하고, 같은 감정 카테고리 내 단어들 간의 유사도를 최대화하는 손실 함수를 정의한다.
• 원래의 의미적 구조를 유지하면서도 20 에포크 동안 확률적 경사 하강법을 사용해 임베딩 공간을 최적화한다.
• 가중치가 부여된 목적 함수를 통해 감정 유사도 제약 조건을 통합한다: $ \mathcal{L}(V') = PR(V') + NR(V') + VSP(V, V') $, 여기서 $ PR $ 은 반대 감정 간의 유사도를 방지하는 데, $ NR $ 은 감정 그룹 내에서의 유사도를 장려하며, $ VSP $ 는 원래의 벡터 공간 구조를 유지한다.
• 2차 감정 모델(Shaver 등, 1987)을 사용하여 카테고리 내 및 반대 감정 간의 유사도 점수를 계산함으로써 방법을 검증한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 단어 임베딩에 후기 훈련 개선 과정을 통해 감정적 의미를 효과적으로 통합할 수 있는가?
• RQ2 원본 임베딩에 비해 감정 제약 조건을 적용한 개선된 임베딩 공간이 감정 유사도 지표 성능 향상에 얼마나 기여하는가?
• RQ3 다양한 사전 훈련된 모델들(Word2Vec, GloVe, fastText, NumberBatch)은 감정 개선에 대해 감정 유사도 유지 측면에서 어떻게 반응하는가?
• RQ4 반대 감정 간의 구분(예: 기쁨 대 슬픔, 분노 대 공포)은 향상되면서도, 감정 카테고리 내에서의 유사도는 증가하는가?

주요 결과

• 감정적으로 개선된 Word2Vec 모델은 원본 대비 감정 유사도 지표에서 13% 향상되었다.
• GloVe 모델는 감정 개선 후 최대 29% 향상되었으며, 다른 모델들보다 뛰어난 성능을 보였다.
• 재학습된 ConceptNet Numberbatch 모델는 카테고리 내 유사도 점수 0.57을 기록하여 기존 0.47 대비 가장 뛰어난 전반적 성능을 달성했다.
• 개선 후 반대 감정 쌍(예: 기쁨 대 슬픔, 분노 대 공포) 간 평균 유사도가 유의미하게 감소하여 감정의 반대 개념을 더 잘 구분함을 시사했다.
• 모든 테스트된 모델에서 카테고리 내 감정 유사도가 증가했으며, 이는 벡터 공간 내 감정적 구조가 향상되었음을 확인했다.
• 개선된 임베딩는 공개된 링크를 통해 제공되어 재현성과 향후 연구를 가능하게 했다.