[论文解读] An Event Detection Approach Based On Twitter Hashtags

Shih-Feng Yang, Julia Taylor Rayz|arXiv (Cornell University)|Apr 2, 2018

Complex Network Analysis Techniques参考文献 23被引用 12

一句话总结

本文提出了一种基于标签的事件检测方法，利用K-means聚类对Twitter数据进行处理，改进了STREAMCUBE框架。结果表明，K-means在聚类质量方面优于STREAMCUBE（纯度70.5% vs. 67.1%），并提供了选择最优K值的指导，当聚类数超过20时性能趋于稳定。

ABSTRACT

Twitter is one of the most popular microblogging services in the world. The great amount of information within Twitter makes it an important information channel for people to learn and share news. Twitter hashtag is an popular feature that can be viewed as human-labeled information which people use to identify the topic of a tweet. Many researchers have proposed event-detection approaches that can monitor Twitter data and determine whether special events, such as accidents, extreme weather, earthquakes, or crimes take place. Although many approaches use hashtags as one of their features, few of them explicitly focus on the effectiveness of using hashtags on event detection. In this study, we proposed an event detection approach that utilizes hashtags in tweets. We adopted the feature extraction used in STREAMCUBE and applied a clustering K-means approach to it. The experiments demonstrated that the K-means approach performed better than STREAMCUBE in the clustering results. A discussion on optimal K values for the K-means approach is also provided.

研究动机与目标

• 通过显式利用标签作为主要信号，提升Twitter中的事件检测效果。
• 评估并改进STREAMCUBE框架在使用替代聚类技术时的性能表现。
• 确定K-means聚类的最优K值，以在基于标签的事件检测中实现最佳聚类质量。
• 提供实证指导，用于在聚类准确度与计算效率之间取得平衡的K值选择。

提出的方法

• 从推文提取特征的方法借鉴自STREAMCUBE框架，重点聚焦于基于标签的表示。
• 将K-means聚类应用于标签共现模式，将相关推文聚类为事件簇。
• 通过与人工标注的真实标签对比，使用纯度和标准化互信息（NMI）评估聚类性能。
• 在不同K值下进行实验，以评估敏感性并识别最优聚类数量。
• 采用包含超过20,000条与巴黎袭击事件（2015年11月13日至17日）相关的推文的数据集进行评估。
• 从200条抽样推文中获取人工标注标签，作为性能对比的真实标签。

实验结果

研究问题

• RQ1 K-means聚类在基于标签的Twitter事件检测中是否优于STREAMCUBE？
• RQ2 K-means实现更优聚类质量的最优聚类数（K）是多少？
• RQ3 在不同K值下，纯度和NMI分数如何变化？
• RQ4 增加聚类数是否能在不降低性能的前提下提升事件检测准确度？
• RQ5 仅使用标签数据，K-means能否可靠地检测现实世界事件（如巴黎袭击事件）？

主要发现

• K-means聚类在相同聚类数（46）下实现了70.5%的纯度和35.6%的NMI，优于STREAMCUBE的67.1%纯度和27.8% NMI。
• 当K超过20时，K-means在纯度和NMI上均持续优于STREAMCUBE，且NMI稳定在约36%。
• 最高纯度（76.8%）出现在K=170时，而NMI在K=170和K=30时均达到峰值37.0%。
• K值增加至170时性能提升显著，但超过该值后增益逐渐减小，NMI不再提升。
• 本研究建议将K设置为至少标签总数的十分之一，以超越STREAMCUBE的性能表现。
• 结果证实，标签是事件检测的强有力信号，且K-means是STREAMCUBE单遍聚类方法的可行且有效的替代方案。