[论文解读] Detecting weak changes in dynamic events over networks

Shuang Li, Yao Xie+3 more|arXiv (Cornell University)|Mar 29, 2016

Anomaly Detection Techniques and Applications参考文献 41被引用 7

一句话总结

本文提出了一种新颖的在线变化点检测框架，用于通过网络传输的多维事件流，采用序列假设检验与点过程建模。该方法引入了一种无参数、分布式的类似EM的算法，以高效计算似然比，通过理论上的平均运行长度（ARL）近似实现精确的误报率控制，并在真实世界的Twitter和Memetracker数据集中展现出对微弱信号的强检测性能。

ABSTRACT

Large volume of networked streaming event data are becoming increasingly available in a wide variety of applications, such as social network analysis, Internet traffic monitoring and healthcare analytics. Streaming event data are discrete observation occurred in continuous time, and the precise time interval between two events carries a great deal of information about the dynamics of the underlying systems. How to promptly detect changes in these dynamic systems using these streaming event data? In this paper, we propose a novel change-point detection framework for multi-dimensional event data over networks. We cast the problem into sequential hypothesis test, and derive the likelihood ratios for point processes, which are computed efficiently via an EM-like algorithm that is parameter-free and can be computed in a distributed fashion. We derive a highly accurate theoretical characterization of the false-alarm-rate, and show that it can achieve weak signal detection by aggregating local statistics over time and networks. Finally, we demonstrate the good performance of our algorithm on numerical examples and real-world datasets from twitter and Memetracker.

研究动机与目标

• 解决在高维、异步事件流中检测时间与空间上聚集的微弱变化的挑战。
• 开发一种计算高效的分布式算法，实现实时更新大规模网络中的检测统计量。
• 为网络化事件数据中的变化点检测提供理论基础的误报率表征。
• 实现实时流数据中异常事件、流行病、趋势话题或突发新闻的早期检测。
• 克服独立同分布（i.i.d.）和时间序列模型在捕捉事件数据中时间依赖性和跨维度依赖性方面的局限性。

提出的方法

• 将变化点检测建模为序列假设检验，利用点过程模型对变化前后的事件流进行建模。
• 使用网络化霍克斯过程对事件动态进行建模，以捕捉节点间的自激励与相互激励效应。
• 推导用于检测点过程强度函数变化的似然比统计量。
• 采用类似EM的算法，以无需参数调优的方式高效且分布式地计算似然比统计量。
• 利用平均运行长度（ARL）的理论近似来精确控制误报率。
• 通过时间与网络节点之间的本地统计量聚合，增强对微弱信号的检测能力。

实验结果

研究问题

• RQ1 如何在信号稀疏且时间上聚集的动态事件流中，检测网络中细微而微弱的变化？
• RQ2 如何设计一种可扩展的分布式算法，实现实时高效更新高吞吐量事件数据的检测统计量？
• RQ3 如何理论表征网络化点过程中的变化点检测统计量的误报率？
• RQ4 时间与跨网络聚合在多大程度上能提升对微弱信号的检测灵敏度？
• RQ5 所提出的方法在检测现实世界事件（如突发新闻或病毒式话题）方面是否能超越现有基线方法？

主要发现

• 所提出的算法在真实Twitter数据中成功检测到变化点，例如《Mr. Robot》获得金球奖以及Suresh Raina板球赛事件，具有高时间精度。
• 在Memetracker数据集上，该方法能准确识别出与重大新闻事件对应的变化点，包括奥巴马当选、以色列停火协议及北京奥运会，通常在峰值前2–3天即检测到变化。
• 理论ARL近似提供了高度精确的误报率控制，减少了对昂贵的蒙特卡洛模拟的依赖。
• 类似EM的算法实现了似然比的高效分布式计算，使该方法可扩展至大规模网络。
• 通过利用时间与全网统计量的聚合，该方法在检测微弱信号方面优于两种基线算法。
• 实验结果表明，即使在信号稀疏且节点间未同步的情况下，该算法仍能检测到变化，展现出对微弱信号条件的鲁棒性。