[论文解读] Efficient Detection of Hot Span in Information Diffusion from Observation

Kouzou Ohara, Kazumi Saito+2 more|arXiv (Cornell University)|Oct 12, 2011

Complex Network Analysis Techniques参考文献 19被引用 5

一句话总结

本文提出了一种高效算法，用于在仅有限观测数据的情况下，检测社交网络中信息扩散速率异常升高（即‘热点时段’）的时段。通过利用似然函数的导数以避免重复的参数优化，该方法将计算时间减少了5至100倍，同时在真实网络上的准确性和速度方面显著优于朴素的穷举搜索方法。

ABSTRACT

We addressed the problem of detecting the change in behavior of information diffusion from a small amount of observation data, where the behavior changes were assumed to be effectively reflected in changes in the diffusion parameter value. The problem is to detect where in time and how long this change persisted and how big this change is. We solved this problem by searching the change pattern that maximizes the likelihood of generating the observed diffusion sequences. The naive learning algorithm has to iteratively update the patten boundaries, each requiring optimization of diffusion parameters by the EM algorithm, and is very inefficient. We devised a very efficient search algorithm using the derivative of likelihood which avoids parameter value optimization during the search. The results tested using three real world network structures confirmed that the algorithm can efficiently identify the correct change pattern. We further compared our algorithm with the naive method that finds the best combination of change boundaries by an exhaustive search through a set of randomly selected boundary candidates, and showed that the proposed algorithm far outperforms the native method both in terms of accuracy and computation time.

研究动机与目标

• 从有限观测数据中检测社交网络中异常信息扩散（热点时段）的时段。
• 识别这些热点时段的起始和结束时间，并估计热点时段与正常时段的扩散参数值。
• 克服朴素方法因对每个候选热点时段边界均需重复参数优化而导致的计算效率低下问题。
• 开发一种通用且可扩展的框架，适用于具有复杂扩散动态的真实网络。
• 通过递归划分和统计准则，将方法扩展至检测具有任意形状的多个热点时段。

提出的方法

• 将问题形式化为在异步独立级联（AsIC）模型中检测扩散概率参数的分段线性变化。
• 仅使用两次EM算法优化——一次针对全时段，一次针对热点时段——避免在搜索过程中重复优化参数。
• 利用似然函数的一阶导数作为搜索准则，高效定位热点时段边界，而无需在每一步进行迭代参数调整。
• 应用分治策略的贪心递归划分方法，通过依次识别最重要的变化点来检测多个热点时段。
• 使用信息准则（如MDL或AIC）确定热点时段的最优数量，并停止递归划分过程。
• 将框架扩展至其他模型（如AsLT和基于SIS的模型）以及意见形成过程（如价值加权投票模型）。

实验结果

研究问题

• RQ1 当仅有有限观测数据时，如何高效检测信息扩散中热点时段的起始和结束时间？
• RQ2 在热点时段检测过程中，避免重复参数优化的最有效方法是什么，以提升计算效率？
• RQ3 似然函数的导数能否作为识别扩散动态中变化点的可靠且高效准则？
• RQ4 在真实网络结构中，与朴素穷举搜索相比，所提方法在准确性和计算时间方面的表现如何？
• RQ5 该方法在多大程度上可推广至检测复杂扩散模式中的多个或非分段线性热点时段？

主要发现

• 与对每个候选边界均重复执行EM优化的朴素方法相比，所提方法将计算时间减少了5至100倍。
• 该方法在检测准确率方面显著优于朴素方法，尤其在正确识别热点时段边界和参数值方面表现突出。
• 在三个真实网络结构（博客网络等）中，该算法即使在观测数据有限的情况下，也能以高精度成功检测热点时段。
• 对两个独立的分段线性热点时段的初步结果显示，对参数变化的时间点和幅度的检测近乎完美。
• 利用似然函数导数作为搜索准则，可在无需每步重新优化参数的情况下，实现高效的边界检测。
• 通过递归划分和基于MDL等统计停止准则，该方法可扩展至更复杂的模式，如多个热点时段或非分段线性变化。