[논문 리뷰] Event detection in Colombian security Twitter news using fine-grained latent topic analysis

Vladimir Vargas-Calderón, Nicolás Parra-A.외 2명|arXiv (Cornell University)|2019. 11. 19.

Social Media and Politics참고 문헌 26인용 수 4

한 줄 요약

이 논문은 텍스트 임베딩, K-means 군집화, UMAP를 활용한 정교한 잠재 주제 분석 방법을 제안하여 콜롬비아 트위터 뉴스에서 보안, 폭력, 범죄 관련 사건을 탐지하고 분할한다. 10개의 해석 가능한 주제—예를 들어 살인, 교통사고, 여성에 대한 폭력 등—을 식별함으로써 간과당할 수 있는 폭력 사건의 자동 분류 및 모니터링을 가능하게 한다.

ABSTRACT

Cultural and social dynamics are important concepts that must be understood in order to grasp what a community cares about. To that end, an excellent source of information on what occurs in a community is the news, especially in recent years, when mass media giants use social networks to communicate and interact with their audience. In this work, we use a method to discover latent topics in tweets from Colombian Twitter news accounts in order to identify the most prominent events in the country. We pay particular attention to security, violence and crime-related tweets because of the violent environment that surrounds Colombian society. The latent topic discovery method that we use builds vector representations of the tweets by using FastText and finds clusters of tweets through the K-means clustering algorithm. The number of clusters is found by measuring the $C_V$ coherence for a range of number of topics of the Latent Dirichlet Allocation (LDA) model. We finally use Uniform Manifold Approximation and Projection (UMAP) for dimensionality reduction to visualise the tweets vectors. Once the clusters related to security, violence and crime are identified, we proceed to apply the same method within each cluster to perform a fine-grained analysis in which specific events mentioned in the news are grouped together. Our method is able to discover event-specific sets of news, which is the baseline to perform an extensive analysis of how people engage in Twitter threads on the different types of news, with an emphasis on security, violence and crime-related tweets.

연구 동기 및 목표

• 콜롬비아 트위터 미디어 계정에서 보안, 폭력, 범죄 관련 뉴스 트윗을 식별하고 분할하는 것.
• 특정 유형의 폭력 사건 주변에서의 공공 여론 및 참여도를 정교하게 분석할 수 있도록 하는 것.
• 잠재 주제 기반으로 스케일러블한 자동 분류 방법을 개발하는 것.
• 공식 경찰 기록에 포착되지 않을 수 있는 간과당할 수 있는 폭력 사건을 탐지하는 것.
• 사회적 반응을 이해함으로써 정책 수립 및 교육 프로그램 지원을 위한 기초 자료를 제공하는 것.

제안 방법

• 2014년부터 현재까지 콜롬비아 뉴스 계정 @NoticiasRCN에서 258,848건의 보안 관련 트윗을 수집하였다.
• FastText 단어 임베딩을 활용해 트윗의 조밀한 벡터 표현을 생성하였다.
• LDA 일관성(C_V)을 활용해 주제 수를 선정하고 K-means 군집화를 적용하여 군집의 세분화 수준을 최적화하였다.
• 균일 다층 근사 및 투영(UMAP)을 사용해 트윗 군집의 차원 감소 및 시각화를 수행하였다.
• 군집의 중심에 가장 가까운 각 군집당 15개의 대표 트윗을 검토하여 수동으로 군집을 레이블링 하였다.
• 최적의 해석 가능성과 주제 간 분리도를 확보하기 위해 주제 수를 10개와 16개로 재평가하였다.

실험 결과

연구 질문

• RQ1 콜롬비아 트위터에서 보안, 폭력, 범죄 관련 뉴스 내에서 두드러진 하위 주제는 무엇인가?
• RQ2 교통 관련 사건과 같은 유사한 사건들을 정교하게 구분하기 위해 잠재 주제 모델링을 어떻게 조정할 수 있는가?
• RQ3 FastText, K-means, UMAP의 조합이 뉴스 트윗에서 해석 가능하고 명확한 이벤트 군집을 효과적으로 식별할 수 있는가?
• RQ4 군집 수(10개 대비 16개)가 주제의 해석 가능성과 군집 내 산란도에 어떤 영향을 미치는가?
• RQ5 이 방법이 공식 보고 체계에 포착되지 않는 간과당할 수 있는 폭력 사건을 어느 정도 탐지할 수 있는가?

주요 결과

• 이 방법은 공격 및 폭력, 교통 및 도시 계획, 도난, 교통사고, 사회 문제, 교통 관련 사건, 아동 및 여성에 대한 폭력, 의료 소홀, 살인, 기타 등 10개의 해석 가능한 주제를 성공적으로 식별하였다.
• 10개 주제 구성은 유사한 군집 내 산란도를 보였음에도 불구하고 16개 주제 구성보다 더 명확한 주제 분리와 더 나은 해석 가능성을 제공하였다.
• 교통 관련 주제(교통 및 도시 계획, 교통사고, 교통 관련 사건)는 잘 분리되어 있었으며, 고속도로 붕괴나 버스 기사 간 싸움과 같은 구체적인 사례들이 존재했다.
• '기타' 군집은 동물 학대나 정부 서비스 실패 등 다양한 문제를 포함하여, 이 방법이 다양하지만 관련 있는 보안 문제를 포괄할 수 있음을 보여주었다.
• 모든 군집에서 유사한 군집 내 산란도를 보였으며, 이는 주제 간 일관성과 안정성을 의미한다.
• 이 방법은 새로운 보안 관련 트윗의 자동 분류를 가능하게 하며, 여성, 아동, 범죄 피해자와 같은 취약 집단의 모니터링을 지원할 수 있다.