[论文解读] Event Evolution Tracking from Streaming Social Posts

Pei Lee, Laks V. S. Lakshmanan+1 more|arXiv (Cornell University)|Nov 23, 2013

Complex Network Analysis Techniques参考文献 25被引用 12

一句话总结

该论文提出 eTrack，一种用于在流式社交媒体中实时追踪事件演化的框架，通过将帖子建模为动态网络，并利用核心帖子的草图图对内容进行摘要。该框架通过基于相似度的聚类和主题词云，增量式检测关键演化模式——如诞生/消亡、增长/衰减、合并/分裂——在大规模 Twitter 数据上实现了高效、可扩展的追踪，具有高准确率和低延迟。

ABSTRACT

Online social post streams such as Twitter timelines and forum discussions have emerged as important channels for information dissemination. They are noisy, informal, and surge quickly. Real life events, which may happen and evolve every minute, are perceived and circulated in post streams by social users. Intuitively, an event can be viewed as a dense cluster of posts with a life cycle sharing the same descriptive words. There are many previous works on event detection from social streams. However, there has been surprisingly little work on tracking the evolution patterns of events, e.g., birth/death, growth/decay, merge/split, which we address in this paper. To define a tracking scope, we use a sliding time window, where old posts disappear and new posts appear at each moment. Following that, we model a social post stream as an evolving network, where each social post is a node, and edges between posts are constructed when the post similarity is above a threshold. We propose a framework which summarizes the information in the stream within the current time window as a ``sketch graph'' composed of ``core'' posts. We develop incremental update algorithms to handle highly dynamic social streams and track event evolution patterns in real time. Moreover, we visualize events as word clouds to aid human perception. Our evaluation on a real data set consisting of 5.2 million posts demonstrates that our method can effectively track event dynamics in the whole life cycle from very large volumes of social streams on the fly.

研究动机与目标

• 填补实时社交媒体流中动态事件演化模式（如合并、分裂、增长、衰减）追踪的空白。
• 克服现有事件检测方法仅报告突发活动或事件数量、而未捕捉结构演化的局限性。
• 提供一种可扩展的增量框架，用于在高速、嘈杂的社交媒体流中对事件动态进行摘要和可视化。
• 通过直观的主题词云和实时轨迹追踪，支持人类用户对事件演化的感知。
• 通过滑动时间窗口定义事件追踪范围，支持灵活监控。

提出的方法

• 将流式社交媒体帖子建模为动态网络，其中每个帖子为一个节点，边基于语义相似度超过阈值而形成。
• 构建仅保留核心帖子（在网络中起核心作用的帖子）的草图图，从而剔除噪声并实现紧凑摘要。
• 使用增量更新算法，在新帖子到达时实时维护草图图并检测事件演化模式。
• 将事件定义为帖子网络中的密集聚类，通过诸如诞生、消亡、增长、衰减、合并和分裂等原始操作追踪其演化。
• 为每个事件生成主题词云，以辅助人类对演化主题的理解与解释。
• 应用滑动时间窗口以限制数据范围，通过丢弃过时帖子确保可扩展性和实时响应能力。

实验结果

研究问题

• RQ1 如何在实时社交媒体流中有效且增量式地检测如合并、分裂、增长和衰减等事件演化模式？
• RQ2 如何在不重新处理整个数据流的前提下，以可扩展且高效的方式将大量嘈杂、非正式的社交媒体帖子摘要为有意义的事件表示？
• RQ3 如何在动态网络中识别并维护核心帖子，以支持实时事件追踪并降低计算开销？
• RQ4 基于草图图的框架在多大程度上能比传统基于频率或批处理的方法更好地捕捉复杂事件动态？
• RQ5 在真实世界数据中，当事件经历快速变化或主题重叠时，该框架在准确率和效率方面表现如何？

主要发现

• eTrack 在包含 520 万条帖子的真实 Twitter 数据集上，成功追踪了事件的完整生命周期，包括诞生、增长、衰减、合并和分裂，且时间分辨率极高。
• 该框架实现低延迟处理，在每小时处理 7,126 条帖子的高速流中，10 小时时间窗口内的帖子预处理、网络构建和事件追踪均在 3 分钟内完成。
• 运行时间几乎与步长呈线性关系，且与总数据集大小无关，仅取决于每个时间窗口内的发帖速率，展现出强大的可扩展性。
• eTrack 在追踪复杂演化模式方面优于基线方法：与基线不同，它能正确识别事件合并（如 SOPA 和 Apple 事件）和分裂（如 iBooks 2 发布），而这些是基于频率或静态聚类方法所遗漏的。
• 草图图抽象能有效剔除噪声，仅保留核心帖子，通过主题词云实现紧凑且可解释的摘要，显著增强人类理解。
• 当时间窗口为 10Δt 且步长较短（如 Δt = 1 小时）时，由于采用增量更新，eTrack 相较于批量重新处理基线方法保持显著性能优势；但当步长超过 4Δt 时，该优势才逐渐减弱。