[논문 리뷰] Predicting election trends with Twitter: Hillary Clinton versus Donald Trump.

Alexandre Bovet, Flaviano Morone외 1명|arXiv (Cornell University)|2016. 10. 05.

Opinion Dynamics and Social Influence참고 문헌 40인용 수 12

한 줄 요약

이 연구는 2016년 미국 대선 기간 동안 티커 사용자의 정치적 성향을 추론하기 위해 네트워크 분석, 자연어 처리 및 기계학습을 융합한 하이브리드 방법을 개발한다. 7,300만 개의 트윗을 활용해 국립 여론 추세를 뉴욕타임스 여론조사 평균과 0.9의 상관관계로 예측하고, 기존 방법보다 6~15일 앞서 예측함으로써 트위터가 실시간으로 저비용으로 국립 여론 변화를 경고할 수 있는 잠재력을 입증한다.

ABSTRACT

Forecasting opinion trends from real-time social media is the long-standing goal of modern-day big-data analytics. Despite its importance, there has been no conclusive scientific evidence so far that social media activity can capture the opinion of the general population at large. Here we develop analytic tools combining statistical physics of complex networks, percolation theory, natural language processing and machine learning classification to infer the opinion of Twitter users regarding the candidates of the 2016 US Presidential Election. Using a large-scale dataset of 73 million tweets collected from June 1st to September 1st 2016, we investigate the temporal social networks formed by the interactions among millions of Twitter users. We infer the support of each user to the presidential candidates and show that the resulting Twitter trends follow the New York Times National Polling Average, which represents an aggregate of hundreds of independent traditional polls, with remarkable accuracy (r=0.9). More importantly, the Twitter opinion trend forecasts the aggregated NYT polls by 6 to 15 days, showing that Twitter can be an early warning signal of global opinion trends at the national level. Our analytics [available at kcorelab.com] unleash the power of Twitter to predict social trends from elections, brands to political movements, and at a fraction of the cost of national polls.

연구 동기 및 목표

• 실시간 트위터 활동이 2016년 미국 대선 기간 동안 국립 여론 추세를 신뢰성 있게 반영할 수 있는지 규명하는 것.
• 소셜 미디어 상호작용에서 개인 사용자의 정치 후보 지지 여부를 유추할 수 있는 확장 가능한 방법을 개발하는 것.
• 트위터 기반 여론 추세가 전통적 여론조사 평균을 기존 방법보다 빨리 예측할 수 있는지 테스트하는 것.
• 기존에 정밀도가 높은 여론조사 데이터와의 비교를 통해 소셜 미디어 분석의 예측 능력을 검증하는 것.

제안 방법

• 2016년 6월 1일부터 9월 1일까지 수집한 7,300만 개의 트윗에서 시간적 사회망을 구축한다.
• 퍼콜레이션 이론을 적용해 영향력 있는 사용자 집단을 식별하고, 사용자 수준의 후보 지지 여부를 유추한다.
• 자연어 처리를 활용해 트윗 내용에서 정서와 후보 언급을 추출한다.
• 기계학습 분류를 통해 네트워크 구조와 언어적 특징을 융합해 사용자 선호도를 예측한다.
• 개별 사용자 예측 결과를 집계해 뉴욕타임스(NYT) 국립 여론조사 평균과 비교하기 위한 거시적 수준의 여론 추세로 변환한다.
• 트위터 추세와 전통적 여론조사 평균 간의 상관관계와 리드 타임을 측정함으로써 예측 정확도를 검증한다.

실험 결과

연구 질문

• RQ1 트위터 사용자 상호작용과 언어 패턴이 신뢰성 있게 국립 정치적 여론 추세를 반영할 수 있는가?
• RQ2 트위터 기반 예측이 전통적 여론조사 평균을 얼마나 빨리 예측할 수 있는가?
• RQ3 트위터 기반 여론 추세는 뉴욕타임스 집계 여론조사 평균과 얼마나 정확한가?
• RQ4 트위터 기반 예측은 전통적 여론조사 데이터보다 얼마나 앞서는가?
• RQ5 소셜 미디어 분석이 대규모 국립 여론조사의 비용 효율적인 대안이 될 수 있는가?

주요 결과

• 트위터 기반 여론 추세는 뉴욕타임스 국립 여론조사 평균과 상관계수 r = 0.9로 강력한 일치를 보이며, 전통적 여론조사 데이터와의 높은 일치도를 확인한다.
• 트위터 추세는 뉴욕타임스 여론조사 평균을 6~15일 앞서 예측함으로써 조기 경고 기능을 입증한다.
• 네트워크 구조와 언어 분석의 조합을 통해 개인 사용자의 후보 지지 여부를 성공적으로 유추할 수 있었다.
• 예측 정확도가 전체 관측 기간 동안 유지는 유지되어 시간에 따른 안정성이 입증되었다.
• 전통적 국립 여론조사 방법에 비해 비용의 일부에 불과한 비용으로도 높은 예측 정밀도를 달성하였다.
• 결과적으로 소셜 미디어 데이터가 민주적 선거에서 국립 여론 추세의 신뢰할 수 있는 실시간 대체 측정 수단이 될 수 있음을 검증하였다.