[논문 리뷰] Sentiment Uncertainty and Spam in Twitter Streams and Its Implications for General Purpose Realtime Sentiment Analysis

Nils Haldenwang, Oliver Vornberger|arXiv (Cornell University)|2015. 01. 01.

Spam and Phishing Detection참고 문헌 10인용 수 2

한 줄 요약

이 논문은 감성 불확실성과 스팸을 명시적으로 고려한 새로운 벤치마크 데이터셋을 소개한다. 이로 인해 50퍼센트 이상의 트윗이 긍정 또는 부정으로 명확히 레이블링될 수 없음을 확인할 수 있었다. 저자들은 실시간 감성 분석의 신뢰성을 높이기 위해 불확실한 감성을 별도의 카테고리로 간주하는 것을 제안하며, 인간 평가자들이 레이블링한 14,506건의 트윗을 포함한 데이터셋을 제공한다. 이 데이터셋은 55퍼센트의 불확실성과 15퍼센트의 스팸을 보여주었다.

ABSTRACT

State of the art benchmarks for Twitter Sentiment Analysis do not consider the fact that for more than half of the tweets from the public stream a distinct sentiment cannot be chosen. This paper provides a new perspective on Twitter Sentiment Analysis by highlighting the necessity of explicitly incorporating uncertainty. Moreover, a dataset of high quality to evaluate solutions for this new problem is introduced and made publicly available.

연구 동기 및 목표

• 기존 트위터 감성 분석 벤치마크에서 모든 트윗이 긍정 또는 부정으로 명확히 레이블링될 수 있다고 가정하는 한계를 해결한다.
• 공개된 트위터 트윗 중 상당 부분이 명확한 감성을 지니지 않음을 인지하고, 감성 불확실성에 대한 공식적인 처리가 필요하다는 점을 인식한다.
• 실세계 트위터 스트림에서 감성 분석 시스템을 평가하기 위한 고품질이고 대표성 있는 데이터셋을 개발하고 공개한다.
• 스팸을 명시적으로 필터링하고 불확실한 감성을 분류함으로써 실시간 감성 분석의 신뢰성을 향상시킨다.
• 미래 연구를 위한 기반을 제공하여, 모든 트윗이 감성 정보를 지닌다고 가정하는 대신 불확실성과 스팸을 다룰 수 있는 시스템을 구축하도록 유도한다.

제안 방법

• 주제 편향을 최소화하기 위해 2012년 6월부터 2013년 8월까지의 4,300만 건의 트윗을 무작위 샘플로 수집하였다.
• 각 트윗에 대해 두 명의 인간 평가자가 긍정, 부정, 불확실, 스팸 중 하나의 레이블을 할당하였다.
• 상호 평가자 간 일치도를 측정하기 위해 Fleiss의 카파를 사용하였으며, 중간 정도의 κ = 0.45를 기록하여 감성 경계선에서 상당한 불일치가 있음을 나타냈다.
• 불일치 매트릭스를 분석하여 체계적인 레이블링 문제를 규명하였으며, 특히 긍정/부정와 불확실 감성 간의 불일치가 두드러졌다.
• 불확실성과 스팸을 다룰 수 있는 시스템 평가를 지원하기 위해, 레이블 불일치가 있는 트윗까지 포함한 완전한 데이터셋을 공개하였다.
• 불확실한 감성과 스팸 트윗은 중립 또는 감성 정보가 있는 것으로 잘못 분류되기보다는 필터링하거나 명시적으로 다루는 것이 바람직하다고 제안하였다.

실험 결과

연구 질문

• RQ1 공개된 트위터 스트림의 트윗 중 얼마나 많은 트윗이 명확한 감성 레이블을 받지 못하는가? 그리고 이러한 불확실성은 어떻게 공식적으로 모델링할 수 있는가?
• RQ2 스팸과 감성 정보가 없는 콘텐츠의 존재가 실시간 감성 분석의 신뢰성에 어떤 영향을 미치는가?
• RQ3 감성 불확실성을 명시적으로 인정할 경우, 공개된 트위터 스트림에서 감성 레이블의 진정된 분포는 어떠한가?
• RQ4 인간 평가자들이 감성 경계선에서 어떻게 불일치를 보이며, 이는 기계 학습 시스템에 어떤 함의를 갖는가?
• RQ5 불확실성과 스팸을 포함한 벤치마크 데이터셋은 실세계 감성 분석 시스템의 평가를 향상시킬 수 있는가?

주요 결과

• 두 평가자 모두 불확실로 분류한 트윗이 전체 레이블링 트윗의 55퍼센트를 차지하여, 대부분의 공개 트윗에 대해 명확한 감성을 할당할 수 없음을 시사한다.
• 일致한 레이블이 있는 트윗 중 15퍼센트가 스팸이었으며, 감성 파ip라인에서 효과적인 스팸 필터링이 필요함을 강조한다.
• 전체 트윗의 30퍼센트만 확실한 감성 레이블을 받았으며, 이는 긍정 13퍼센트, 부정 17퍼센트로, 대부분의 트윗이 명확히 긍정 또는 부정이 아니라는 것을 보여준다.
• 상호 평가자 간 일치도는 중간 수준이었으며(Fleiss의 카파 = 0.45), 가장 큰 불일치는 긍정/부정와 불확실 감성 간에 발생했다.
• 불확실 트윗에 대해 평가자 간 불일치가 가장 뚜렷하여, 심지어 인간조차도 감성과 불확실성 간을 구분하는 데 어려움을 겪고 있음을 시사한다.
• 이전의 벤치마크에서 중립으로 분류된 트윗 대부분은 실제로 불확실 카테고리에 속해 있으며, 중립이 신뢰할 수 있거나 명확한 감성 클래스가 아님을 시사한다.