[论文解读] Detecting Events and Patterns in Large-Scale User Generated Textual Streams with Statistical Learning Methods

Vasileios Lampos|arXiv (Cornell University)|Aug 13, 2012

Complex Network Analysis Techniques参考文献 154被引用 11

一句话总结

本博士论文提出统计机器学习方法，从大规模用户生成的文本流（主要为Twitter）中检测现实世界事件与模式，如流行病、降雨及社会情绪变化。通过使用线性、非线性和混合推理技术提取并建模文本特征，该方法在预测事件动态与情绪趋势方面表现优异，证明了社交媒体在公共卫生与社会科学监测中的实用价值。

ABSTRACT

A vast amount of textual web streams is influenced by events or phenomena emerging in the real world. The social web forms an excellent modern paradigm, where unstructured user generated content is published on a regular basis and in most occasions is freely distributed. The present Ph.D. Thesis deals with the problem of inferring information - or patterns in general - about events emerging in real life based on the contents of this textual stream. We show that it is possible to extract valuable information about social phenomena, such as an epidemic or even rainfall rates, by automatic analysis of the content published in Social Media, and in particular Twitter, using Statistical Machine Learning methods. An important intermediate task regards the formation and identification of features which characterise a target event; we select and use those textual features in several linear, non-linear and hybrid inference approaches achieving a significantly good performance in terms of the applied loss function. By examining further this rich data set, we also propose methods for extracting various types of mood signals revealing how affective norms - at least within the social web's population - evolve during the day and how significant events emerging in the real world are influencing them. Lastly, we present some preliminary findings showing several spatiotemporal characteristics of this textual information as well as the potential of using it to tackle tasks such as the prediction of voting intentions.

研究动机与目标

• 开发用于从大规模非结构化用户生成文本流中检测现实世界事件的统计学习方法。
• 识别并提取能表征目标事件（如疾病暴发或天气现象）的有意义文本特征。
• 对社交媒体中的时间与情感模式进行建模，以理解公众情绪如何随现实世界事件演变。
• 评估社交媒体数据在预测社会现象（包括投票意向与公共卫生趋势）方面的潜力。
• 通过严谨的统计推断，证明利用Twitter数据作为现实世界动态代理的可行性。

提出的方法

• 采用线性与正则化回归模型（如LASSO）从文本特征中推断与事件相关的信号。
• 应用非线性和混合推理模型，以捕捉文本内容与现实世界事件之间的复杂关系。
• 使用自然语言处理技术提取文本特征，包括词性标注、情感词典（如LIWC）及词频分析。
• 采用时间序列建模方法，分析不同地理与时间尺度下情绪与事件检测的昼夜及时空模式。
• 整合停用词移除与词干提取（如Porter词干算法）以改善特征表示并降低文本流中的噪声。
• 利用现有的情感与情感词典（如Pennebaker的LIWC）提取情绪信号，并追踪随时间变化的情感常态。

实验结果

研究问题

• RQ1 统计学习模型能否以高精度从Twitter文本流中检测现实世界事件（如疾病暴发或降雨）？
• RQ2 从社交媒体内容中提取的文本特征与实际公共卫生或环境现象之间存在何种相关性？
• RQ3 社交媒体中的情绪与情感信号在多大程度上能反映现实世界事件与公众情绪变化？
• RQ4 可用于事件检测与预测的用户生成内容具有何种时空特征？
• RQ5 社交媒体数据能否用于预测社会行为（如投票意向或危机期间公众关注水平）？

主要发现

• 统计学习模型，尤其是正则化回归与混合方法，在从Twitter数据中检测流感暴发等现实世界事件方面表现优异。
• 研究证明，从社交媒体提取的文本特征能与真实地面数据显著相关地预测降雨率与疾病流行程度。
• 从Twitter提取的情绪信号显示出与神经质与抑郁水平相关的昼夜模式，表明在线群体中存在可检测的情感节律。
• 重大现实世界事件（如H1N1大流行或地震）在社交媒体上引发了可测量且可检测的情绪与语言使用变化。
• 社交媒体内容的时间动态揭示了稳定的时空模式，使在官方报告发布前实现新兴事件的早期检测成为可能。
• 整合多种特征类型（词汇、情感、时间）显著提升了模型性能，尤其在复杂非线性事件检测任务中。