[论文解读] From Tweets to Events: Exploring a Scalable Solution for Twitter Streams

Shamanth Kumar, Huan Liu+2 more|arXiv (Cornell University)|May 6, 2014

Complex Network Analysis Techniques参考文献 17被引用 14

一句话总结

本文提出了一种可扩展的单遍聚类方法，利用压缩距离在实时Twitter流中检测事件，解决了非正式语言和高速数据带来的挑战。该方法能有效识别用户多样性高的事件，在大规模、嘈杂的Twitter数据上实现近实时性能。

ABSTRACT

The unprecedented use of social media through smartphones and other web-enabled mobile devices has enabled the rapid adoption of platforms like Twitter. Event detection has found many applications on the web, including breaking news identification and summarization. The recent increase in the usage of Twitter during crises has attracted researchers to focus on detecting events in tweets. However, current solutions have focused on static Twitter data. The necessity to detect events in a streaming environment during fast paced events such as a crisis presents new opportunities and challenges. In this paper, we investigate event detection in the context of real-time Twitter streams as observed in real-world crises. We highlight the key challenges in this problem: the informal nature of text, and the high volume and high velocity characteristics of Twitter streams. We present a novel approach to address these challenges using single-pass clustering and the compression distance to efficiently detect events in Twitter streams. Through experiments on large Twitter datasets, we demonstrate that the proposed framework is able to detect events in near real-time and can scale to large and noisy Twitter streams.

研究动机与目标

• 解决在传统离线方法失效的高速度、非正式Twitter流中检测事件的挑战。
• 开发一种无需依赖预定义语言资源即可处理语言非正式性（如拼写错误和缩写）的解决方案。
• 实现在不预设事件数量的情况下进行事件检测，支持动态和演化的事件聚类。
• 通过引入用户多样性作为可信度度量，过滤噪声，减少低多样性或重复性用户活动带来的误报。
• 确保在大规模Twitter数据流上具备可扩展性和近实时性能。

提出的方法

• 该方法采用压缩距离作为tweet之间的相似性度量，对语言噪声具有鲁棒性，且无需语言预处理。
• 采用单遍聚类算法实时处理tweet，避免对数据进行多次遍历，这对于流式处理环境至关重要。
• 用户多样性通过基于熵的公式计算：$ H(e) = -\sum_{i} \frac{n_{u_i}}{n} \log \frac{n_{u_i}}{n} $，其中 $ n_{u_i} $ 表示用户 $ u_i $ 在事件聚类 $ e $ 中的tweet数量。
• 目标函数同时最大化类间距离和用户多样性，旨在识别出独立且可信的事件。
• 该方法设计为子模函数，可在动态流式条件下实现高效优化。
• 该框架在大规模Twitter数据集上进行了评估，验证了其可扩展性和实时性能。

实验结果

研究问题

• RQ1 如何在高速度、非正式语言的实时Twitter流中有效实现事件检测？
• RQ2 压缩距离能否作为具有语言噪声的tweet的鲁棒、语言无关的相似性度量？
• RQ3 如何利用用户多样性作为可信度度量，以过滤Twitter流中的非事件噪声？
• RQ4 单遍聚类方法在多大程度上可扩展至高吞吐量的Twitter数据，同时保持事件检测的准确性？
• RQ5 与现有方法相比，该方法在可扩展性和实时性能方面表现如何？

主要发现

• 所提出的框架在大规模Twitter流上实现了近实时事件检测，能够高效处理高速数据。
• 压缩距离在无需语言预处理的情况下，有效捕捉了非正式tweet之间的语义相似性。
• 通过熵计算的用户多样性成功过滤了低多样性用户聚类带来的噪声，提升了事件的可信度。
• 该方法在大规模数据集上表现出良好的可扩展性，并且在无需预设事件数量的情况下处理了动态事件流。
• 由于其单遍、增量式设计，该方法在流式环境中优于传统多遍方法。
• 实证评估证实了该方法在话题特定和随机Twitter流中检测有意义事件的能力。