[논문 리뷰] Word Affect Intensities

Saif M. Mohammad|arXiv (Cornell University)|2017. 04. 28.

Sentiment Analysis and Opinion Mining참고 문헌 20인용 수 24

한 줄 요약

이 논문은 최적-최악 척도(Best-Worst Scaling, BWS)를 사용하여 분류된, 분노, 두려움, 기쁨, 슬픔의 네 가지 기본 감정에 대한 단어-감정 강도 점수를 담은 수작업으로 구성된 실수값 감정 강도 어휘집인 NRC 감정 강도 어휘집(NRC Affect Intensity Lexicon, AIL)을 소개한다. 이 방법은 높은 신뢰성(반분 신뢰도 >0.91)과 세분화된 분류 능력을 달성하여 정서 분석, 자연어 생성, 공중보건 모니터링 등 다양한 분야에서 정확한 감정 강도 측정을 가능하게 한다.

ABSTRACT

Words often convey affect -- emotions, feelings, and attitudes. Further, different words can convey affect to various degrees (intensities). However, existing manually created lexicons for basic emotions (such as anger and fear) indicate only coarse categories of affect association (for example, associated with anger or not associated with anger). Automatic lexicons of affect provide fine degrees of association, but they tend not to be accurate as human-created lexicons. Here, for the first time, we present a manually created affect intensity lexicon with real-valued scores of intensity for four basic emotions: anger, fear, joy, and sadness. (We will subsequently add entries for more emotions such as disgust, anticipation, trust, and surprise.) We refer to this dataset as the NRC Affect Intensity Lexicon, or AIL for short. AIL has entries for close to 6,000 English words. We used a technique called best-worst scaling (BWS) to create the lexicon. BWS improves annotation consistency and obtains reliable fine-grained scores (split-half reliability > 0.91). We also compare the entries in AIL with the entries in the NRC VAD Lexicon, which has valence, arousal, and dominance (VAD) scores for 20K English words. We find that anger, fear, and sadness words, on average, have very similar VAD scores. However, sadness words tend to have slightly lower dominance scores than fear and anger words. The Affect Intensity Lexicon has applications in automatic emotion analysis in a number of domains such as commerce, education, intelligence, and public health. AIL is also useful in the building of natural language generation systems.

연구 동기 및 목표

• 기존 감정 어휘집이 일반적으로 '분노와 관련됨' 또는 '분노와 관련 없음'과 같은 범주적 연관성만 제공하는 바, 세분화된 수작업 감정 강도 점수의 부족을 해결하기 위해.
• 전통적인 척도 기반 평가 방법의 한계를 극복하고, 어휘에서 감정 연관성의 강도를 측정하는 데 있어 평균화 및 일관성 향상을 위해.
• 어휘가 직접적으로 감정을 나타내지 않더라도 감정을 암시적으로 유발하는 바를 포함하여, 감정 강도의 정도를 정확히 반영하는 신뢰할 수 있는 실수값 어휘집을 구축하기 위해.
• 소셜 미디어 모니터링, 공중보건 추적, 자연어 생성 시스템과 같은 분야에서 더 정확하고 세밀한 감정 강도 분석을 가능하게 하기 위해.
• 특정 감정과 관련된 음절과 소리 패턴을 식별함으로써 향후 어감을 지닌 어휘의 발음 및 형태적 패턴에 대한 연구를 지원하기 위해.

제안 방법

• 4개의 어휘로 구성된 트리플릿에서 특정 감정의 강도가 가장 높고 가장 낮은 어휘를 선택하도록 평가자들이 비교 척도를 제공하는 최적-최악 척도(Best-Worst Scaling, BWS)를 적용하여 척도를 수집하였다.
• BWS를 활용해 각 어휘-감정 쌍에 대해 0에서 1 사이의 실수값 강도 점수를 유도하였으며, 1은 최고 강도, 0은 최저 강도를 의미한다.
• 각 4개 어휘 트리플릿 척도가 5개의 쌍 비교를 드러내므로, 이를 활용해 안정적이고 신뢰할 수 있는 점수로 변환하기 위해 통계적 방법을 적용하였다.
• 반분 신뢰도 검사를 통해 척도 품질을 확보하였으며, 반분된 척도를 이용해 점수를 생성하고 전체 집합과 비교하였다.
• 독립된 평가자들이 반복 척도를 수행하여 어휘집의 일관성을 검증하였으며, 높은 상관관계(Spearman rho = 0.92, Pearson r = 0.91)를 기록하였다.
• NRC VAD 어휘집(정서성, 각성도, 지배성)의 점수와 AIL 점수를 비교하여 교차 어휘집 일관성과 감정 프로파일의 차이를 분석하였다.

실험 결과

연구 질문

• RQ1 최적-최악 척도는 기존 척도 기반 방법보다 일관성과 분류 능력에서 뛰어난 신뢰성 있는 세분화된 강도 점수를 생성할 수 있는가?
• RQ2 AIL과 NRC VAD 어휘집 간 비교 시, 분노, 두려움, 기쁨, 슬픔과 관련된 어휘의 정서성 및 지배성 프로파일은 어떻게 다를까?
• RQ3 반대 감정을 지닌 어휘들(예: '기쁨'과 '슬픔')이 자연어에서 얼마나 자주 공존하는가? 이는 자동 감정 탐지에 어떤 영향을 미치는가?
• RQ4 감정 강도 탐지 작업(예: WASSA-2017, SemEval-2018)에서 Affect Intensity Lexicon이 성능 향상에 기여할 수 있는가?
• RQ5 특정 감정과 체계적으로 연관된 음절 또는 발음 패턴이 존재하는가? 이는 AIL을 통해 식별 가능할까?

주요 결과

• NRC 감정 강도 어휘집(AIL)은 네 가지 기본 감정에 대해 약 6,000개의 영어 어휘어휘에 대해 실수값 강도 점수를 포함하며, 점수 범위는 0(가장 낮은 강도)에서 1(가장 높은 강도)이다.
• 최적-최악 척도를 통해 반분 신뢰도가 0.92(Spearman 순위 상관) 및 0.91(Pearson 상관계수)를 기록하여 척도 과정의 높은 일관성과 안정성을 입증하였다.
• 독립 평가자들이 반복 척도를 수행한 결과, 원본 점수와 매우 높은 상관관계를 보였으며, 이는 방법의 신뢰성과 분류 능력을 확인하는 데 기여하였다.
• AIL에서 분노, 두려움, 슬픔과 관련된 어휘는 NRC VAD 어휘집에서 평균 정서성과 각성도 점수에서 매우 유사한 경향을 보였지만, 슬픔과 관련된 어휘는 유의미하게 낮은 지배성 점수를 보였다.
• AIL은 WASSA-2017 및 SemEval-2018에서 투표된 트윗의 감정 강도 분석 공모전에서 상위 성능을 기록한 시스템에서 성공적으로 활용되어 실제 NLP 응용 분야에서의 유용성을 입증하였다.
• 이 어휘집은 향후 어감을 지닌 어휘의 발음 및 형태적 패턴에 대한 연구를 가능하게 하며, 특정 감정과 체계적으로 연관된 음절을 식별하는 데에도 기여할 수 있다.