[논문 리뷰] A Machine Learning Analysis of Twitter Sentiment to the Sandy Hook Shootings

Nan Wang, Blesson Varghese외 1명|arXiv (Cornell University)|2016. 09. 02.

Crime, Deviance, and Social Control참고 문헌 25인용 수 7

한 줄 요약

이 연구는 2012년 샌디 후크 학교 총기 폭행 사건 주변 40일 간의 미국 내 70만 건 이상의 트윗을 기반으로 기계학습을 적용하여 총기 찬성 및 반대 여론을 분류한다. 그 결과, 사건 이후 며칠 동안 지속적인 총기 찬성 여론의 피크가 나타나는 반면, 총기 반대 여론은 급격히 감소함을 확인하여 대규모 총기 폭행 사건에 대한 대중 반응에 대한 기존 가정을 도전한다.

ABSTRACT

Gun related violence is a complex issue and accounts for a large proportion of violent incidents. In the research reported in this paper, we set out to investigate the pro-gun and anti-gun sentiments expressed on a social media platform, namely Twitter, in response to the 2012 Sandy Hook Elementary School shooting in Connecticut, USA. Machine learning techniques are applied to classify a data corpus of over 700,000 tweets. The sentiments are captured using a public sentiment score that considers the volume of tweets as well as population. A web-based interactive tool is developed to visualise the sentiments and is available at http://www.gunsontwitter.com. The key findings from this research are: (i) There are elevated rates of both pro-gun and anti-gun sentiments on the day of the shooting. Surprisingly, the pro-gun sentiment remains high for a number of days following the event but the anti-gun sentiment quickly falls to pre-event levels. (ii) There is a different public response from each state, with the highest pro-gun sentiment not coming from those with highest gun ownership levels but rather from California, Texas and New York.

연구 동기 및 목표

• 기계학습을 활용하여 샌디 후크 학교 총기 폭행 사건에 대한 트위터 상의 대중 여론을 분석한다.
• 미국 주별로 총기 찬성 및 반대 여론의 시간적 및 지리적 패턴을 조사한다.
• 소셜 미디어 데이터에서 여론 분류를 위한 다수의 기계학습 모델을 평가한다.
• 인구 및 총기 소유 수준을 고려하여 주별로 여론 추세를 시각화할 수 있는 상호작용형 웹 도구를 개발한다.
• 컴퓨터 과학과 공중보건을 융합하여 자연어 처리 기술을 총기 폭력이라는 중요한 공중보건 문제에 적용한다.

제안 방법

• GNIP를 통해 역사적 트위터 데이터를 수집하고, 키워드, 시간대(40일), 미국 지리적 위치를 필터링하여 선별한다.
• R을 사용하여 JSON 파일을 CSV 형식으로 파싱하고, 관련 텍스트 및 메타데이터를 추출하여 트윗을 사전 처리한다.
• 감독 학습을 위한 황금 표준 학습 데이터 세트를 구성하기 위해 수작업으로 5,000건의 트윗을 레이블링(총기 찬성, 총기 반대, 중립)하였다.
• SVM, 최대 엔트로피, 랜덤 포레스트, 신경망, 나이브 베이즈 및 앙상블 방법 등 다양한 기계학습 알고리즘을 레이블링된 데이터에 적용하여 평가하였다.
• 최고 성능을 보인 모델들(SVM, 랜덤 포레스트 등)을 선별하여 70만 건 이상의 전체 트윗 데이터셋에 대한 분류를 수행하였다.
• http://www.gunsontwitter.com에 위치한 웹 기반 도구를 사용하여 주별로 여론 추세를 시각화하였으며, 인구 및 총기 소유 수준에 따라 정규화하였다.

실험 결과

연구 질문

• RQ1 샌디 후크 학교 총기 폭행 사건 직후 며칠 동안 트위터 상의 총기 찬성 및 반대 여론은 어떻게 변화했는가?
• RQ2 어느 주에서 총기 찬성 여론이 가장 높았으며, 이는 총기 소유율과 인구 규모와 어떻게 관련되어 있는가?
• RQ3 트위터 데이터에서 총기 찬성, 반대, 중립 여론을 분류하는 데 가장 잘 성능을 내는 기계학습 모델은 무엇인가?
• RQ4 소셜 미디어의 여론 추세는 신뢰성 있게 시각화될 수 있으며, 공중보건 또는 정책 수립 시점에 활용될 수 있는가?
• RQ5 대규모 학교 총기 폭행 사건에 대한 대중 반응은 총기 찬성 여론과 반대 여론 모두에서 강도와 지속 기간 측면에서 어떻게 다를까?

주요 결과

• 총기 찬성 여론과 반대 여론 모두 샌디 후크 사건 당일에 피크에 도달하여, 강력한 대중 논의가 있었음을 시사한다.
• 총기 반대 여론은 며칠 내로 사전 수준으로 급격히 감소하여, 공중의 분노가 일시적임을 나타낸다.
• 총기 찬성 여론은 사건 이후 며칠 동안 높은 수준을 유지하여, 총기 소유의 지속적 지지 또는 정당화가 있었음을 시사한다.
• 총기 찬성 여론이 가장 높은 곳은 캘리포니아, 텍사스, 뉴욕 주였으며, 이는 반드시 총기 소유율이 높은 주들만은 아니었다.
• 이 연구는 트위터 데이터에서 세 가지 클래스의 여론(총기 찬성, 반대, 중립)을 분류하는 데 가장 정확한 모델로 SVM과 랜덤 포레스트를 식별하였다.
• http://www.gunsontwitter.com에 위치한 상호작용형 웹 도구는 인구 및 총기 소유 수준에 따라 정규화된 주별 여론 추세를 성공적으로 시각화하였다.