[논문 리뷰] The Predictive Power of Social Media: On the Predictability of U.S. Presidential Elections using Twitter

Kazem Jahanbakhsh, Yumi Moon|arXiv (Cornell University)|2014. 07. 01.

Sentiment Analysis and Opinion Mining참고 문헌 20인용 수 32

한 줄 요약

이 연구는 2012년 9월 29일부터 11월 16일까지의 3,200만 개의 지리적 태그가 부여된 미국 대선 트윗을 대상으로 기계학습과 자연어 처리를 활용하여 후보자 인기 예측을 수행한다. 정서 분석과 LDA 주제 모델링을 사용한 결과, 트위터 정서가 실제 선거 결과와 매우 유사하게 반영되었으며, 오바마가 정서적으로 앞서 있었고, 지리적 정서 분석을 통해 주 단위 후보자 인기 패턴이 확인되어 사회적 미디어가 선거 예측에 있어 신뢰할 수 있고 저비용의 도구로 기능할 수 있음을 입증한다.

ABSTRACT

Twitter as a new form of social media potentially contains useful information that opens new opportunities for content analysis on tweets. This paper examines the predictive power of Twitter regarding the US presidential election of 2012. For this study, we analyzed 32 million tweets regarding the US presidential election by employing a combination of machine learning techniques. We devised an advanced classifier for sentiment analysis in order to increase the accuracy of Twitter content analysis. We carried out our analysis by comparing Twitter results with traditional opinion polls. In addition, we used the Latent Dirichlet Allocation model to extract the underlying topical structure from the selected tweets. Our results show that we can determine the popularity of candidates by running sentiment analysis. We can also uncover candidates popularities in the US states by running the sentiment analysis algorithm on geo-tagged tweets. To the best of our knowledge, no previous work in the field has presented a systematic analysis of a considerable number of tweets employing a combination of analysis techniques by which we conducted this study. Thus, our results aptly suggest that Twitter as a well-known social medium is a valid source in predicting future events such as elections. This implies that understanding public opinions and trends via social media in turn allows us to propose a cost- and time-effective way not only for spreading and sharing information, but also for predicting future events.

연구 동기 및 목표

• 2012년 미국 대선의 결과를 높은 정확도로 예측할 수 있는가를 조사한다.
• 전통적 여론 조사 데이터와 비교하여 트위터 기반 정서 분석 결과의 신뢰성과 대표성을 평가한다.
• 비지도 주제 모델링(LDA)을 활용해 선거 관련 트윗의 정치적 논의 내에서의 기저 주제와 추세를 밝혀낸다.
• 지리적 정서 분석을 통해 지리적 태그가 부여된 트윗을 활용해 주 단위 후보자 인기 패턴을 식별한다.
• 정서 분석과 주제 모델링을 융합한 체계적이고 다중 방법론적 접근법을 개발하고, 정치적 예측을 위한 대규모 소셜 미디어 콘텐츠 분석에 대해 검증한다.

제안 방법

• 2012년 9월 29일부터 11월 16일까지 미국 대선 관련 콘텐츠에 초점을 맞춰 3,200만 개의 정치적 트윗을 수집한다.
• 후보자에 대한 긍정/부정 정서를 더 정확하게 탐지하기 위해 맞춤형 기계학습 분류기를 활용해 정서 분석을 수행한다.
• 트윗 코퍼스에서 잠재적 주제 구조를 추출하기 위해 은닉 디리ش레트 분포(Latent Dirichlet Allocation, LDA)를 적용하여 정치적 논의에서 지배적인 주제를 식별한다.
• 지리적 정서 분석을 위해 지리적 태그가 부여된 트윗을 필터링하여 미국 주 단위 후보자 인기 패턴을 평가한다.
• 동일한 기간 동안 트위터 정서 추세와 전통적 여론 조사 결과를 비교하여 예측 일치도를 평가한다.
• 주요 이벤트(예: 대선토론) 주변의 논의 패턴을 분석하기 위해 주제 모델링을 활용하여 반복되는 주제와 어휘 군집을 식별한다.

실험 결과

연구 질문

• RQ1 트위터 데이터를 활용해 2012년 미국 대선 결과를 예측할 수 있는가?
• RQ2 트위터의 콘텐츠 분석 결과는 전통적 여론 조사 결과와 비교해 유사한가?
• RQ3 지리적 태그가 부여된 트윗을 대상으로 한 정서 분석을 통해 주 단위 후보자 인기 패턴을 밝혀낼 수 있는가?
• RQ4 2012년 대선 주기 동안 트위터에서 정치적 논의에서 기반 주제로 나타나는 주제는 무엇인가?
• RQ5 대선토론과 같은 주요 사건이 트위터 논의의 정서와 주제 변화에 어떻게 영향을 미치는가?

주요 결과

• 오바마는 분석 기간 내내 정서 분석에서 일관되게 선두를 유지했으며, 실제 선거 결과와 일치했다.
• 지리적 정서 분석을 통해 알려진 지역 투표 경향과 일치하는 주 단위 후보자 인기 패턴이 확인되어, 이 방법의 공간 정확성이 입증되었다.
• LDA는 트윗 코퍼스에서 다섯 가지 지배적인 주제를 성공적으로 추출했으며, 토론, 세금, 외교 정책, 후보자 이름 등이 포함되어 공중 논의의 초점을 반영했다.
• 첫 번째 대선토론은 '토론', '미트', '오바마' 등의 언급 증가를 동반하여 공중의 참여도가 높아졌음을 나타냈다.
• 부정 광고가 선거 일주일 전 후에 정서 추세에 상당한 영향을 미쳤으며, 특히 이 기간 동안 영향력이 컸다.
• 트위터 정서 추세는 전통적 여론 조사 결과와 강한 상관관계를 보였으며, 이는 사회적 미디어가 공중 여론의 신뢰할 수 있고 실시간 대체 지표로 기능할 수 있음을 시사한다.