[논문 리뷰] PANAS-t: A Pychometric Scale for Measuring Sentiments on Twitter

Pollyanna Gonçalves, Fabrí­cio Benevenuto외 1명|arXiv (Cornell University)|2013. 08. 08.

Sentiment Analysis and Opinion Mining참고 문헌 24인용 수 39

한 줄 요약

PANAS-t는 18억 건의 트윗에서 유도된 정규화 점수를 사용하여 실시간으로 대규모 공적 분위기 분석이 가능한, PANAS-x에서 유도된 심리측도적 감정 척도이다. 이는 자연재해, 정치적 사건 등 10건의 주요 글로벌 사건 기간 동안 예상되는 감정 변화를 성공적으로 포착하여 실제 응용에 대한 강건성과 실용성을 입증한다.

ABSTRACT

Online social networks have become a major communication platform, where people share their thoughts and opinions about any topic real-time. The short text updates people post in these network contain emotions and moods, which when measured collectively can unveil the public mood at population level and have exciting implications for businesses, governments, and societies. Therefore, there is an urgent need for developing solid methods for accurately measuring moods from large-scale social media data. In this paper, we propose PANAS-t, which measures sentiments from short text updates in Twitter based on a well-established psychometric scale, PANAS (Positive and Negative Affect Schedule). We test the efficacy of PANAS-t over 10 real notable events drawn from 1.8 billion tweets and demonstrate that it can efficiently capture the expected sentiments of a wide variety of issues spanning tragedies, technology releases, political debates, and healthcare.

연구 동기 및 목표

• 짧은 형식의 소셜미디어 텍스트, 특히 트위터에서의 공적 감정을 측정하기 위한 신뢰성 있고 심리측도적으로 검증된 방법을 개발하는 것.
• 기존의 PANAS(긍정적·부정적 정서 스케일) 척도를 전통적인 감성 툴이 종종 실패하는 비공식적이고 동적인 트위터 환경에 적응시키는 것.
• 실제 데이터 기반 정규화 점수를 제공하여 시간과 사건 간의 감정 변화를 상대적으로 비교할 수 있도록 하는 것.
• 실제 사건 기간 동안 예상되는 감정 변화를 포착함으로써 척도의 효과성을 검증함으로써 생태학적 타당성과 실용적 유용성을 확보하는 것.

제안 방법

• 짧고 비공식적인 텍스트에 적합한 감정어휘를 선택하여, 11개 항목의 PANAS-x 척도(긍정적·부정적 정서 상태)를 트위터에 맞게 적응시키는 것.
• 2006~2009년 기간 동안의 18억 건의 트윗 대규모 데이터셋을 사용하여 각 11개 정서 상태의 기준 정규화 점수를 계산하여 안정적인 감정 기준선을 설정하는 것.
• 이 정규화 점수를 사용해 원시 감성 빈도를 상대적 정서 점수(P(s))로 변환함으로써 시간과 사건 간 비교를 가능하게 하는 것.
• 10건의 주요 실제 사건 기간 동안 PANAS-t를 적용하여 감성 추세를 추출하고, Kiviat 차트를 사용해 분위기 변화를 시각화하는 것.
• 일반적인 이모티콘 기반 기준과 비교하여 다양한 시간대와 데이터셋에서의 성능을 평가함으로써 방법의 타당성을 검증하는 것.
• 실시간 감성 분류를 피하기 위해 사전에 계산된 정규화를 기반으로 하여 확장성과 실시간 적용 가능성을 확보하는 것.

실험 결과

연구 질문

• RQ1 PANAS-t는 자연재해, 정치적 선거, 유명인 사망과 같은 주요 글로벌 사건 기간 동안 예상되는 감정 변화를 효과적으로 포착할 수 있는가?
• RQ2 PANAS-t는 감정 변화의 미묘한 특징을 포착하는 데 있어 단순한 이모티콘 기반 감성 탐지보다 어떻게 비교되는가?
• RQ3 2006~2009년 기준 데이터를 기반으로 학습한 후, 원래 학습 기간 외의 데이터(예: 2010년 데이터)에 적용했을 때 PANAS-t는 어느 정도 강건한가?
• RQ4 재학습 없이도 PANAS-t를 대규모 소셜미디어 스트림에서 실시간 감성 분석에 신뢰성 있게 사용할 수 있는가?

주요 결과

• 2009년 미국 대선 기간 동안 PANAS-t는 긍정적 정서와 주의력 증가를 보여주며 예상되는 감정 변화를 성공적으로 포착하였다.
• 2009년 사모아 쓰나미 기간 동안 PANAS-t는 공포(P(s) = 0.9280), 주의력(P(s) = 0.9932), 적대감(P(s) = 0.8451)의 급격한 상승을 감지하여 대중의 정서 반응과 일치하였다.
• 2010년 아이티 지진 이후 PANAS-t는 슬픔(P(s) = 0.3975), 적대감(P(s) = 0.9280), 죄책감의 증가를 기록하여 세계적 공감과 고통을 반영하였다.
• 이 방법은 안정성과 이식 가능성을 입증하여, 2006~2009년 데이터를 기반으로 학습한 기준을 사용해 2010년 트윗 데이터에서도 감정 변화를 정확히 감지하였다.
• 다양한 사건에 걸쳐 미묘한, 사건에 특화된 감성 역동성을 포착하는 데서 PANAS-t는 단순한 이모티콘 기반 기준보다 뛰어난 성능을 보였다.
• 논문에서 제공하는 정규화 점수 덕분에 PANAS-t는 어떤 트위터 데이터셋에도 직접적이고 확장 가능한 방식으로 실시간 감성 분석에 활용할 수 있다.