[论文解读] Forecasting of Events by Tweet Data Mining

Bohdan M. Pavlyshenko|arXiv (Cornell University)|Oct 13, 2013

Advanced Text Analysis Techniques参考文献 14被引用 7

一句话总结

本文提出一种利用Twitter数据通过分析微博内容中的频繁集和关联规则来预测现实世界事件的方法。研究发现，某些频繁集的支持度在重大事件（如2012年伦敦奥运会网球决赛和2013年欧洲歌唱大赛）之前达到峰值，可作为预测指标；而关联规则的置信度动态变化则能在事件发生前的时间窗口内反映社会的预期情绪。

ABSTRACT

This paper describes the analysis of quantitative characteristics of frequent sets and association rules in the posts of Twitter microblogs related to different event discussions. For the analysis, we used a theory of frequent sets, association rules and a theory of formal concept analysis. We revealed the frequent sets and association rules which characterize the semantic relations between the concepts of analyzed subjects. The support of some frequent sets reaches its global maximum before the expected event but with some time delay. Such frequent sets may be considered as predictive markers that characterize the significance of expected events for blogosphere users. We showed that the time dynamics of confidence in some revealed association rules can also have predictive characteristics. Exceeding a certain threshold may be a signal for corresponding reaction in the society within the time interval between the maximum and the probable coming of an event. In this paper, we considered two types of events: the Olympic tennis tournament final in London, 2012 and the prediction of Eurovision 2013 winner.

研究动机与目标

• 识别重大公共事件发生前Twitter微博数据中的预测性模式。
• 利用形式概念分析和关联规则挖掘，分析事件相关概念之间的语义关系。
• 确定频繁集和规则置信度的时间动态是否能作为事件发生前社会关注的信号。
• 在2012年奥运会决赛和2013年欧洲歌唱大赛等真实事件上验证预测能力。
• 探索社交媒体数据作为社会关注度向即将发生事件转移的早期预警信号的潜力。

提出的方法

• 应用频繁项集挖掘，从与目标事件相关的微博中提取重复出现的词组组合。
• 使用关联规则挖掘发现事件相关概念之间的语义关系，以支持度、置信度和提升度进行量化。
• 采用形式概念分析对挖掘数据中的概念关系进行结构化与解释。
• 追踪频繁集和关联规则的支持度与置信度随时间在事件时间轴上的演变。
• 通过识别支持度与置信度指标在事件日期前的峰值，检测预测信号。
• 对比两种不同事件的时间模式，评估预测信号的普适性。

实验结果

研究问题

• RQ1 Twitter数据中的频繁集是否会在重大公共事件发生前出现支持度的时间峰值，表明早期社会关注？
• RQ2 高置信度的关联规则是否在事件前表现出动态上升趋势，反映社会关注的增强？
• RQ3 频繁集或规则支持度/置信度峰值的时间点能否作为未来事件发生的可靠早期指标？
• RQ4 在体育赛事与音乐比赛等不同类型事件中，频繁集和关联规则的模式有何差异？
• RQ5 社交媒体内容的动态变化在多大程度上可用于实现具有可测量提前期的现实世界事件预测？

主要发现

• 在2012年伦敦奥运会网球决赛前约1–2天，某些频繁集的支持度达到全局最大值，表明网络关注度提前出现。
• 在2013年欧洲歌唱大赛的预测中，特定关联规则的置信度在事件前几天持续上升，于决赛前达到峰值。
• 在两项案例研究中，频繁集支持度峰值与实际事件之间的时间延迟保持一致，表明存在可预测的行为模式。
• 高置信度的关联规则在事件前短时间内超过预设阈值，可作为社会反应的潜在信号。
• 频繁集的高支持度与关联规则置信度的上升相结合，形成了双重预测信号，提升了预测的可靠性。
• 该方法在重大事件发生前最多48小时即可检测到可识别的预测性模式，支持其在早期事件预测中的应用。