[논문 리뷰] Crowdsourcing a Word-Emotion Association Lexicon

Saif M. Mohammad, Peter D. Turney|arXiv (Cornell University)|2013. 08. 28.

Sentiment Analysis and Opinion Mining참고 문헌 18인용 수 68

한 줄 요약

이 논문은 아마존 메카니컬 터크를 활용한 크라우드소싱을 통해 대규모이고 고품질의 단어-감정 및 단어-극성 연관 어휘를 개발한다. 단어 선택 검증 질문을 통합하고 감정 애너테이션 표현 방식을 최적화함으로써 저자들은 높은 상호 애너테이터 일치도를 달성하였으며, 의미 수준의 감정 연관성과 의미적 기울기 레이블을 포함한 10,170개의 어휘를 생성하여 자연어 처리 응용 분야에서 향상된 정서 및 감정 분석을 가능하게 한다.

ABSTRACT

Even though considerable attention has been given to the polarity of words (positive and negative) and the creation of large polarity lexicons, research in emotion analysis has had to rely on limited and small emotion lexicons. In this paper we show how the combined strength and wisdom of the crowds can be used to generate a large, high-quality, word-emotion and word-polarity association lexicon quickly and inexpensively. We enumerate the challenges in emotion annotation in a crowdsourcing scenario and propose solutions to address them. Most notably, in addition to questions about emotions associated with terms, we show how the inclusion of a word choice question can discourage malicious data entry, help identify instances where the annotator may not be familiar with the target term (allowing us to reject such annotations), and help obtain annotations at sense level (rather than at word level). We conducted experiments on how to formulate the emotion-annotation questions, and show that asking if a term is associated with an emotion leads to markedly higher inter-annotator agreement than that obtained by asking if a term evokes an emotion.

연구 동기 및 목표

• 자연어 처리를 위한 대규모, 고포괄성, 고품질의 감정 어휘가 부족한 문제를 해결하기 위해.
• 크라우드소싱을 활용한 감정 및 극성 어휘를 만드는 확장 가능하고 비용 효율적인 방법을 개발하기 위해.
• 단어 선택 검증 질문을 도입하여 크라우드소싱 감정 레이블링의 품질을 향상시키기 위해.
• 감정 애너테이션 질문의 표현 방식이 상호 애너테이터 일치도에 미치는 영향을 조사하기 위해.
• 단어 수준과 의미 수준의 감정 연관성 분석을 모두 지원하는 어휘를 구축하기 위해.

제안 방법

• 자체 설문 인터페이스를 사용한 아마존 메카니컬 터크를 활용한 크라우드소싱 감정 및 극성 애너테이션.
• 이상치 또는 악성 데이터 입력을 방지하기 위해 낯선 단어를 탐지할 수 있는 단어 선택 질문을 통합.
• 상호 애너테이터 일치도를 향상시키기 위해 '이 단어가 X 감정을 유발하는가?'와 '이 단어가 X 감정과 연관되는가?'의 표현 방식을 비교하여 질문 어휘를 최적화.
• MaxDiff 판단을 정규화된 점수로 변환하기 위해 계층 베이즈 추정을 사용.
• 맥락에 따라 변하는 감정 연관성을 포착하기 위해 의미 수준에서 애너테이션을 수집.
• 정확도를 확인하기 위해 어휘를 골드 표준 데이터와 대조하여 검증.

실험 결과

연구 질문

• RQ1 어느 것이 더 높은 상호 애너테이터 일치도를 낳는가: 단어가 감정을 '유발하는가' 묻는 것인지, 아니면 감정과 '연관되는가' 묻는 것인가?
• RQ2 단어 선택 검증 질문의 포함 여부가 크라우드소싱 감정 애너테이션의 신뢰성과 품질에 영향을 미치는가?
• RQ3 감정 연관성은 서로 다른 의미 수준에서 어떻게 달라지며, 고빈도어는 어떤 감정을 자주 유발하는가?
• RQ4 어휘 내 감정 연관어의 분포는 어떠한가? 감정을 직접적으로 나타내는 단어는 몇 개인가?
• RQ5 최종적으로 도출된 어휘가 고급 감정 탐지 및 정서 분석 작업을 얼마나 잘 지원하는가?

주요 결과

• 감정과 '연관되는가' 묻는 질문 방식이 감정을 '유발하는가' 묻는 방식보다 유의미하게 높은 상호 애너테이터 일치도를 보였다.
• 단어 선택 검증 질문의 도입으로 낯선 단어나 악성 애너테이터에 의한 노이즈가 효과적으로 감소하였고, 데이터 품질이 향상되었다.
• 최종 어휘는 감정 연관성과 의미적 기울기(긍정, 부정, 중립)가 레이블링된 10,170개의 어휘를 포함하고 있다.
• 저자들은 감정을 직접적으로 나타내는 826개의 어휘를 식별하여 감정을 나타내는 어휘의 특별한 유형을 확인하였다.
• 골드 표준 데이터와의 검증을 통해 어휘의 높은 품질을 입증하였으며, 감정 및 정서 분석에 실용적인 유용성을 확인하였다.
• 주의 깊이 설계된 크라우드소싱은 낮은 비용으로 신뢰할 수 있고 대규모의 감정 어휘를 생산할 수 있음을 보여주었다.