[论文解读] Statistics of collective human behaviors observed in blog entries

Yukie Sano, Kimmo Kaski+1 more|ArXiv.org|Dec 10, 2009

Complex Systems and Time Series Analysis参考文献 1被引用 3

一句话总结

本文提出，博客词频波动源于活跃博主数量的日变化，而非非泊松词动态。通过将博客人群建模为具有周期性波动的时变泊松过程，作者推导出一个理论关系，表明标准差与平均词频呈线性关系——该关系在实证中得到验证，斜率为0.11，拐点位于82次出现处。该模型可借助博客活动的异常峰值检测外部事件，如产品发布。

ABSTRACT

Collective human behaviors are analyzed using the time series of word appearances in blogs. As expected, we confirm that the number of fluctuations is approximated by a Poisson distribution for very-low-frequency words. A non-trivial scaling roperty is confirmed for more-frequent words. We propose a simple model that shows that the fluctuations in the number of contributors is playing the central role in this non-Poissonian behavior.

研究动机与目标

• 理解高频博客词频非泊松波动的统计起源。
• 识别观察到的泊松统计偏离是否源于内在词动态或外部系统级因素。
• 建立一个理论模型，解释博客数据中经验性的σ–μ（标准差对均值）缩放关系。
• 将该模型应用于检测外部事件，如产品发布，通过异常博客活动峰值识别。

提出的方法

• 将博主数量建模为具有日波动的时变泊松过程，以时间依赖率 $ c_j(t) $ 参数化。
• 在时间窗 $ ¹[ N - \bigtriangleup, N + \bigtriangleup \big] $ 内引入泊松过程的叠加，以考虑贡献者数量的日变化。
• 将概率密度 $ p_j(F_j) $ 推导为具有不同速率的泊松分布的加权平均，从而得出方差的闭式表达式。
• 近似标准差为 $ \sigma_j \approx \sqrt{\langle F_j \rangle \left(1 + \langle F_j \rangle \frac{\Delta(\Delta+1)}{3N^2} \right)} $，表明其从泊松型缩放向线性缩放的转变。
• 使用经验关系 $ \sigma = 0.11\langle F \rangle $ 校准模型，其中 $ \Delta/N = 0.19 $，并用真实博客数据验证。
• 应用7天移动平均以去除周周期性，并计算特定事件的 $ 2\sigma $ 阈值，以检测与基线的显著偏离。

实验结果

研究问题

• RQ1 为何高频博客词频偏离泊松统计，而低频词仍符合泊松行为？
• RQ2 什么机制解释了博客数据中观察到的标准差与均值之间的线性关系？
• RQ3 博主数量的日波动能否解释博客词频中非泊松方差缩放现象？
• RQ4 所推导的统计模型能否从异常博客活动峰值中检测现实世界事件，如产品发布？

主要发现

• 词频波动的标准差与均值呈线性关系，斜率为0.11，表明存在非泊松方差结构。
• σ–μ关系中的拐点出现在平均频率82次处，对应于 $ \langle F \rangle_c = 3N^2 / \Delta^2 $，由此得出 $ \Delta/N = 0.19 $。
• 观察到的泊松统计偏离主要源于随时间变化的贡献者数量，而非内在词动态或刷屏行为。
• 该模型成功通过识别超出 $ 2\sigma $ 阈值的峰值，检测到外部事件，如产品发布和媒体报道。
• 该方法可实现媒体影响的定量评估，如博客峰值时间与新闻稿发布和电视曝光时间的对应关系。
• 该框架具有通用性，可推广至其他语言和日本博客以外的数据源。