[논문 리뷰] Twitter Reveals: Using Twitter Analytics to Predict Public Protests

Mohsen Bahrami, Yasin Fındık외 2명|arXiv (Cornell University)|2018. 05. 01.

Social Media and Politics참고 문헌 40인용 수 13

한 줄 요약

이 논문은 트위터 분석을 활용하여 이벤트 특화 기능과 인기 해시태그를 고려해 공공 시위를 예측하기 위한 기계학습 접근법을 제안한다. 트럼프의 2016년 선거 이후 시위와 관련된 트윗을 분석한 결과, 모델은 평균 75% 이상의 예측 정확도를 기록했으며, 최대 100%까지 도달했다. 이는 시위의 조기 경고 시스템으로서 트위터의 실시간 활용 가능성을 입증한다.

ABSTRACT

The right to protest is perceived as one of the primary civil rights. Citizens participate in mass demonstrations to express themselves and exercise their democratic rights. However, because of the large number of participants, protests may lead to violence and destruction, and hence can be costly. Thus, it is important to predict such demonstrations in advance to safeguard against such damages. Recent research has shown that about 75 percent of protests that are regarded as legal, are planned in advance. Twitter, the prominent micro-blogging website, has been used as a tool by protestors for planning, organizing, and announcing many of the recent protests worldwide such as those that led to the Arab Spring, Britain riots, and those against Mr. Trump after the presidential election in the U.S. In this paper, we aim to predict protests by means of machine learning algorithms. In particular, we consider the case of protests against the then-president-elect Mr. Trump after the results of the presidential election were announced in November 2016. We first identify the hashtags calling for demonstration from Trending Topics on Twitter, and download the corresponding tweets. We then apply four machine learning algorithms to make predictions. Our findings indicate that Twitter can be used as a powerful tool for predicting future protests with an average prediction accuracy of over 75 percent (up to 100 percent). We further validate our model by predicting the protests held in the U.S. airports after President Trump's executive order banning citizens of seven Muslim countries from entering the U.S. An important contribution of our study is the inclusion of event specific features for prediction purposes which helps to achieve high levels of accuracy.

연구 동기 및 목표

• 소셜 미디어 데이터, 특히 트위터를 활용해 공공 시위 예측 모델을 개발한다.
• 실시간 트위터 분석이 계획된 대규모 시위의 조기 신호를 감지할 수 있는지 조사한다.
• 시위 관련 해시태그 및 시간 패턴과 같은 이벤트 특화 기능을 통합함으로써 예측 정확도를 향상시킨다.
• 실제 시위 사건, 특히 2017년 미국 공항에서의 무슬림 금지 행정명령에 따른 시위에 대해 모델을 검증한다.
• 소셜 미디어를 시위 폭력 방지 조기 경고 시스템으로 사용할 수 있는지의 타당성을 입증한다.

제안 방법

• 2016년 미국 대선 이후 트위터의 트렌딩 토픽 API를 통해 시위와 관련된 인기 해시태그를 수집했다.
• 트위터의 스트리밍 및 검색 API를 사용해 식별된 시위 관련 해시태그와 관련된 모든 트윗을 다운로드했다.
• 시간 패턴, 감성, 재트윗 빈도 및 이벤트 특화 메타데이터를 포함한 포괄적인 특징 세트를 추출했다.
• 분류 작업을 위해 로지스틱 회귀, 랜덤 포레스트, 기울기 부스팅, 서포트 벡터 머신(SVM)의 네 가지 기계학습 알고리즘을 적용했다.
• 실시간 예측 시나리오를 시뮬레이션하기 위해 데이터의 시간적 분할을 기반으로 모델을 훈련하고 평가했다.
• 2017년 미국 공항에서의 무슬림 금지 행정명령에 따른 시위에 대한 독립된 데이터셋을 활용해 모델 성능을 검증했다.

실험 결과

연구 질문

• RQ1 트위터 분석은 계획된 공공 시위의 조기 신호를 신뢰성 있게 감지할 수 있는가?
• RQ2 기계학습 모델은 일반적인 소셜 미디어 트래픽과 시위 관련 활동을 얼마나 효과적으로 구분할 수 있는가?
• RQ3 일반적인 소셜 미디어 지표에 비해 이벤트 특화 기능이 예측 정확도 향상에 얼마나 기여하는가?
• RQ4 모델은 시간과 맥락이 다른 다양한 시위 사건, 예를 들어 2017년 무슬림 금지 시위에 대해 일반화 가능한가?
• RQ5 트위터 데이터를 활용한 시위 예측에 있어서 도달 가능한 정확도의 상한선은 얼마인가?

주요 결과

• 제안된 모델은 2016년 미국 대선 이후 시위를 예측할 때 평균 75% 이상의 예측 정확도를 기록했다.
• 일부 사례에서는 이벤트 특화 기능이 포함된 경우 100%의 예측 정확도에 도달했다.
• 시위 관련 해시태그, 활동 빈도의 시간적 급증, 감성 추세와 같은 이벤트 특화 기능의 통합이 모델 성능 향상에 크게 기여했다.
• 모델은 트럼프의 무슬림 금지 행정명령 이후 미국 공항에서 발생한 2017년 시위를 성공적으로 예측하여 일반화 가능성에 대한 검증을 완료했다.
• 시위 관련 해시태그의 시간 패턴과 활동량 급증은 예정된 시위의 강력한 지표로 나타났다.
• 시험된 네 가지 기계학습 알고리즘 중 기울기 부스팅과 랜덤 포레스트가 정밀도와 재현율 측면에서 로지스틱 회귀 및 SVM보다 뛰어났다.