[논문 리뷰] Public Opinion Polling with Twitter

Emily M. Cody, Andrew J. Reagan외 2명|arXiv (Cornell University)|2016. 08. 05.

Opinion Dynamics and Social Influence인용 수 15

한 줄 요약

이 논문은 전통적인 설문 조사보다 실시간으로 빠르고 고해상도인 공개된 트위터 데이터의 정서 분석을 사용하여 공공 여론을 측정하는 방법을 제안한다. 10,000개 이상의 빈도 높은 단어에 대한 일일 정서 추세를 분석함으로써, 저자들은 트위터 기반의 '주변 행복도'(ambient happiness)가 기존의 공공 여론 조사와 강하게 상관되며, 대통령 직무 만족도와 소비자 심리 예측에 최대 3개월 전행 가능하다고 밝힌다.

ABSTRACT

Solicited public opinion surveys reach a limited subpopulation of willing participants and are expensive to conduct, leading to poor time resolution and a restricted pool of expert-chosen survey topics. In this study, we demonstrate that unsolicited public opinion polling through sentiment analysis applied to Twitter correlates well with a range of traditional measures, and has predictive power for issues of global importance. We also examine Twitter's potential to canvas topics seldom surveyed, including ideas, personal feelings, and perceptions of commercial enterprises. Two of our major observations are that appropriately filtered Twitter sentiment (1) predicts President Obama's job approval three months in advance, and (2) correlates well with surveyed consumer sentiment. To make possible a full examination of our work and to enable others' research, we make public over 10,000 data sets, each a seven-year series of daily word counts for tweets containing a frequently used search term.

연구 동기 및 목표

• 비용이 많이 들고 해상도가 낮은 전통적 설문 조사의 대안으로, 트위터 정서를 통한 자발적 공공 여론 조사가 신뢰할 수 있는지 평가하기 위해.
• 트위터 정서가 갈러브 풀이나 소비자 심리 지수와 같은 기존의 공공 여론 지표와 상관이 있는지 조사하기 위해.
• 개인 감정, 상용 브랜드, 중립적 개념과 같은 정치적·글로벌이 아닌 주제에 대해 트위터가 공공 여론을 추적할 잠재력을 탐색하기 위해.
• 트위터 정서가 향후 설문 조사 결과, 특히 직무 만족도와 시장 심리 예측에 얼마나 예측력이 있는지 평가하기 위해.
• 10,000개 이상의 빈도 높은 단어에 대한 매일의 정서 시계열 데이터를 공개하여 재현 가능성과 향후 연구를 지원함으로써 개방 과학을 실현하기 위해.

제안 방법

• 연구는 랩MT 어휘 집합 기반의 정서 분석을 사용하며, 이는 위키백과와 아마존 메카니컬 터크에서 인간이 평가한 정서 데이터를 바탕으로 10,222개의 빈도 높은 영어 단어에 정서 점수를 할당한다.
• 10,222개의 단어 각각에 대해, 저자들은 2008~2015년 기간 동안 해당 단어를 포함한 트위터의 정서 점수를 집계하여 매일의 정서 시계열을 계산한다.
• 정서 추세는 일일, 주간, 월간, 연간 등 다양한 시간 해상도에서 분석되어, 저빈도의 설문 조사 데이터와 비교할 수 있도록 한다.
• 저자들은 정서 패턴의 변화를 해석하기 위해 워드 시프트 분석(word shift analysis)을 적용하여, 시간이 지남에 따라 전체 정서 변화를 이끄는 단어나 어구를 특정한다.
• 정서 추세를 외부 설문 조사 데이터(예: 갈러브, 소비자 심리 지수)와 상관계수 분석을 통해 비교하며, 예측력 테스트를 위해 지연 상관계수(lagged correlation)도 적용한다.
• 연구는 트위터 정서가 공공 여론의 대체 지표로서의 유용성을 검증하기 위해 구글 코렐레이트(Google Correlate)와 RACCOON을 비교 도구로 사용한다.

실험 결과

연구 질문

• RQ1 실시간으로 공개된 트위터 게시물에서 유도된 정서가 전통적 설문 조사 기반의 공공 여론 조사와 어느 정도 상관되는가?
• RQ2 트위터 정서는 대통령 직무 만족도나 소비자 심리와 같은 향후 설문 결과를 예측할 수 있는가?
• RQ3 개인 감정, 상용 브랜드, 중립적 개념과 같은 정치적·글로벌이 아닌 주제에 대해 트위터 정서는 공공 여론을 어느 정도 반영하는가?
• RQ4 일시적인 사건, 유행하는 콘텐츠, 봇 활동 등은 트위터의 정서 신호를 왜곡시키는 데 어떤 역할을 하는가?
• RQ5 트위터 정서의 시간 해상도는 전통적 설문 조사의 저빈도 샘플링과 비교해 어떻게 다른가? 이는 예측에 어떤 영향을 미치는가?

주요 결과

• 트위터 정서는 오바마 대통령의 갈러브 직무 만족도 평가와 강하게 상관되며, 트위터 데이터를 최대 3개월 지연시킬 경우 상관계수가 높아져 예측력이 있음을 시사한다.
• 연구는 트위터 정서에서 유도된 주변 행복도가 공식 소비자 심리 지수와 잘 일치함을 입증하여, 시장 분석에서의 유용성을 보여준다.
• 트위터 정서는 공공 여론 변화를 사전에 예측할 수 있으며, '사랑'(love), '느끼다'(feel)와 같은 특정 단어의 정서 추세가 더 넓은 정서 변화의 정서적 동기를 드러내는 데 기여한다. 이는 전통적 설문 조사가 고정된 응답 옵션을 가진다는 점에서 이를 할 수 없다.
• 분석 결과, 트위터에서 기업에 대한 정서는 소비자 인식을 반영하며, 판매 성과 예측이나 향상에 활용될 수 있음을 보여준다.
• 빈도 높은 단어에 대한 10,000개 이상의 매일 정서 시계열 데이터가 공개되어 재현 가능성과 향후 연구를 지원한다.
• 봇 활동, 비꼬임, 표본 편향 등의 한계가 있음에도 불구하고, 트위터 정서는 전통적 설문 조사의 유용한 고해상도 보완 자료로서, 특히 전통적 수단으로 자주 측정되지 않는 주제에 대해 유의미한 정보를 제공한다.