[논문 리뷰] Using Nuances of Emotion to Identify Personality

Saif M. Mohammad, Svetlana Kiritchenko|arXiv (Cornell University)|2013. 09. 24.

Sentiment Analysis and Opinion Mining참고 문헌 13인용 수 15

한 줄 요약

이 논문은 NRC 해시태그 감정 어휘사전에서 유도된 세분화된 감정 범주(예: 흥분, 죄책감, 갈망, 존중)가 에세이에서 성격을 예측하는 데 중요한 예측 변수임을 제시한다. SVM 분류기들을 사용하여, 이러한 세분화된 정서 특징들이 강력한 베이스라인 대비 통계적으로 유의미한 향상을 이끌어내며, 굵은 감정 및 특이성 특징보다 뛰어나다는 것을 입증한다. 이는 굵은 감정 및 특이성 특징이 유의미한 향상을 보이지 않기 때문이다.

ABSTRACT

Past work on personality detection has shown that frequency of lexical categories such as first person pronouns, past tense verbs, and sentiment words have significant correlations with personality traits. In this paper, for the first time, we show that fine affect (emotion) categories such as that of excitement, guilt, yearning, and admiration are significant indicators of personality. Additionally, we perform experiments to show that the gains provided by the fine affect categories are not obtained by using coarse affect categories alone or with specificity features alone. We employ these features in five SVM classifiers for detecting five personality traits through essays. We find that the use of fine emotion features leads to statistically significant improvement over a competitive baseline, whereas the use of coarse affect and specificity features does not.

연구 동기 및 목표

• 세분화된 감정 범주가 굵은 감정 또는 단어 특이성 특징보다 성격 예측에 더 나은 예측 변수인가를 조사하는 것.
• 대규모 자동 생성 감정 어휘사전에서 유도된 어휘 특징이 성격 탐지에 효과적인가를 평가하는 것.
• 세분화된 감정 범주에서 유도된 성능 향상이 일반적인 감정적 또는 의미적 성질이 아닌 특이성 때문인가를 규명하는 것.
• Pennebaker과 King 데이터셋의 에세이를 대상으로 최신 SVM 분류기를 사용하여 향상된 성격 탐지 시스템을 개발하고 벤치마킹하는 것.

제안 방법

• 연구는 약 775,000개의 트윗에서 해시태그 연관성을 기반으로 단어에 585개의 감정 범주를 할당하는 NRC 해시태그 감정 어휘사전을 사용한다.
• 세 가지 특징 세트를 비교한다: 세분화된 감정 특징(해시태그 어휘사전), 굵은 감정 특징(Osgood 차원), 단어 특이성 특징(WordNet 기반 정보량).
• Mairesse 등이 제시한 특징(대명사, 감성, 인지, 사회적 과정 단어 포함)을 기반으로 한 베이스라인 분류기를 구축한다.
• 다섯 개의 SVM 분류기가 에세이 데이터셋(펜백커와 킹의 데이터셋)을 기반으로 다섯 가지 빅파이브 성격 특성(외향성, 정서적 불안정성, 협동성, 성실성, 열린 마음)을 예측하도록 훈련된다.
• 성능 평가에는 매크로 평균 F1 점수가 사용되며, 실험 간 통계적 유의성 검정이 실시된다.
• 각 585개 감정 범주에 대해 정보량을 계산하여 각 성격 특성에 가장 구분력 있는 감정을 식별한다.

실험 결과

연구 질문

• RQ1 세분화된 감정 범주가 경쟁력 있는 베이스라인 대비 성격 탐지 성능에 통계적으로 유의미한 향상을 이끌어내는가?
• RQ2 세분화된 감정 특징에서 유도된 향상은 일반적인 감정적 또는 의미적 성질이 아닌 그 세분화의 정도 때문인가?
• RQ3 굵은 감정 범주 또는 단어 특이성 특징만으로도 성격 탐지 성능에 유의미한 향상이 이루어지는가?
• RQ4 다섯 성격 특성 각각에 대해 가장 지표적인 특정 감정은 무엇인가?

주요 결과

• NRC 해시태그 감정 어휘사전에서 유도된 세분화된 감정 특징의 사용은 Mairesse 베이스라인 대비 모든 다섯 성격 특성에서 F1 점수에 통계적으로 유의미한 향상을 가져왔다.
• Mairesse 베이스라인과 세분화된 감정 특징을 조합한 최고의 성능 모델은 열린 마음 특성에 대해 매크로 평균 F1 점수 60.61을 기록하여 모든 구성 중에서 가장 높은 성능을 보였다.
• 베이스라인 특징 없이 세분화된 감정 특징만을 사용한 모델는 외향성에 대해 매크로 평균 F1 점수 56.46을 기록하여 베이스라인 및 기타 특징 조합보다 뛰어난 성능을 보였다.
• 굵은 감정 특징(Osgood 차원)과 단어 특이성 특징은 일부 성능 향상이 있었음에도 불구하고 통계적으로 유의미한 향상이 없었다.
• 각 성격 특성에 대해 정보량이 가장 높은 감정 범주는 다음과 같았다: 외향성에 대해 #possessive와 #apart, 정서적 불안정성에 대해 #guilt와 #eager, 협동성에 대해 #happy와 #eager, 성실성에 대해 #excited와 #anxious, 열린 마음에 대해 #loving와 #homesick.
• 가장 구분력 있는 감정 범주는 일반적인 감정(기쁨, 분노 등)보다는 맥락에 특화된 감정, 예를 들어 죄책감, 갈망, 존중과 같은 감정이었다.