[论文解读] Event detection in Colombian security Twitter news using fine-grained latent topic analysis

Vladimir Vargas-Calderón, Nicolás Parra-A.+2 more|arXiv (Cornell University)|Nov 19, 2019

Social Media and Politics参考文献 26被引用 4

一句话总结

本文提出了一种基于FastText、K-means聚类和UMAP的细粒度潜在主题分析方法，用于检测和分割哥伦比亚Twitter新闻中的安全、暴力和犯罪相关事件。该方法识别出10个可解释的主题，如谋杀、交通事故和针对女性的暴力行为，实现了对报道不足的暴力事件的自动分类与监测。

ABSTRACT

Cultural and social dynamics are important concepts that must be understood in order to grasp what a community cares about. To that end, an excellent source of information on what occurs in a community is the news, especially in recent years, when mass media giants use social networks to communicate and interact with their audience. In this work, we use a method to discover latent topics in tweets from Colombian Twitter news accounts in order to identify the most prominent events in the country. We pay particular attention to security, violence and crime-related tweets because of the violent environment that surrounds Colombian society. The latent topic discovery method that we use builds vector representations of the tweets by using FastText and finds clusters of tweets through the K-means clustering algorithm. The number of clusters is found by measuring the $C_V$ coherence for a range of number of topics of the Latent Dirichlet Allocation (LDA) model. We finally use Uniform Manifold Approximation and Projection (UMAP) for dimensionality reduction to visualise the tweets vectors. Once the clusters related to security, violence and crime are identified, we proceed to apply the same method within each cluster to perform a fine-grained analysis in which specific events mentioned in the news are grouped together. Our method is able to discover event-specific sets of news, which is the baseline to perform an extensive analysis of how people engage in Twitter threads on the different types of news, with an emphasis on security, violence and crime-related tweets.

研究动机与目标

• 从哥伦比亚Twitter媒体账号中识别并分割与安全、暴力和犯罪相关的新闻推文。
• 实现对特定类型暴力事件周围公众情绪和参与度的细粒度分析。
• 开发一种可扩展的方法，基于潜在主题自动分类与安全相关的推文。
• 检测可能未被官方警方记录捕获的报道不足的暴力事件。
• 通过理解社区对不同类型暴力的反应，支持公共政策和教育举措。

提出的方法

• 从哥伦比亚新闻账号@NoticiasRCN（2014年至今）收集了258,848条与安全相关的推文。
• 使用FastText词嵌入生成推文的密集向量表示。
• 应用K-means聚类，并通过LDA一致性（C_V）选择主题数量，以优化聚类粒度。
• 使用均匀流形近似与投影（UMAP）进行降维和推文聚类的可视化。
• 通过检查每个聚类中距离质心最近的15条最具代表性推文，对聚类进行人工标注。
• 在10个和16个主题下重新评估聚类，以确定最佳可解释性与主题分离度。

实验结果

研究问题

• RQ1 在哥伦比亚Twitter的安全部分、暴力和犯罪相关新闻中，最突出的子主题是什么？
• RQ2 如何微调潜在主题建模，以区分密切相关的事件（如与交通相关的事件）？
• RQ3 FastText、K-means和UMAP的组合能否有效识别出可解释且独立的新闻推文事件聚类？
• RQ4 聚类数量（10个与16个）如何影响主题的可解释性与聚类内离散度？
• RQ5 该方法在多大程度上能够检测到未被正式报告系统捕获的报道不足的暴力事件？

主要发现

• 该方法成功识别出10个可解释的主题，包括袭击与攻击、交通与城市规划、盗窃、交通事故、社会问题、交通相关事件、针对儿童和女性的暴力、医疗疏忽、谋杀以及“其他”类别。
• 尽管聚类内离散度相似，10个主题配置在主题分离度和可解释性方面优于16个主题配置。
• 与交通相关的主题（如交通与城市规划、交通事故、交通相关事件）被良好地区分，具有明确的示例，如高速公路坍塌和公交车司机斗殴。
• “其他”类别包含多样化的议题，如虐待动物和政府服务失效，表明该方法能够捕捉异质但相关的安全关切。
• 各聚类的聚类内离散度相近，表明主题在一致性与稳定性方面表现一致。
• 该方法可实现对新安全相关推文的自动分类，并支持对女性、儿童和犯罪受害者等弱势群体的监测。