[论文解读] Anomaly detection in the dynamics of web and social networks

Volodymyr Miz, Benjamin Ricaud+2 more|arXiv (Cornell University)|Jan 22, 2019

Complex Network Analysis Techniques被引用 4

一句话总结

本文提出了一种无监督、可扩展的方法，通过使用霍普菲尔德网络对时间活动模式进行建模，结合图结构与时间序列数据，以检测动态网络中的局部异常。该方法在维基百科和爱诺恩电子邮件数据集中，以高精度成功识别出真实事件（如《查理周刊》袭击事件或企业事件），并通过部分信号的记忆式回溯展现出鲁棒性与可解释性。

ABSTRACT

In this work, we propose a new, fast and scalable method for anomaly detection in large time-evolving graphs. It may be a static graph with dynamic node attributes (e.g. time-series), or a graph evolving in time, such as a temporal network. We define an anomaly as a localized increase in temporal activity in a cluster of nodes. The algorithm is unsupervised. It is able to detect and track anomalous activity in a dynamic network despite the noise from multiple interfering sources. We use the Hopfield network model of memory to combine the graph and time information. We show that anomalies can be spotted with a good precision using a memory network. The presented approach is scalable and we provide a distributed implementation of the algorithm. To demonstrate its efficiency, we apply it to two datasets: Enron Email dataset and Wikipedia page views. We show that the anomalous spikes are triggered by the real-world events that impact the network dynamics. Besides, the structure of the clusters and the analysis of the time evolution associated with the detected events reveals interesting facts on how humans interact, exchange and search for information, opening the door to new quantitative studies on collective and social behavior on large and dynamic datasets.

研究动机与目标

• 解决在大规模、随时间演化的网络中检测局部集体异常的挑战，其中节点活动偏离正常模式。
• 通过同时建模网络拓扑与时间动态，弥合基于图的异常检测与时空数据挖掘之间的鸿沟。
• 提供超越简单标签的丰富时空异常指标，实现可解释性，使领域专家能够探究集体行为。
• 通过引入“潜在异常”概念，预先过滤非异常数据，从而提升可扩展性。
• 探索异常检测与记忆回溯之间的类比，实现在输入不完整或含噪声时恢复完整异常事件。

提出的方法

• 该方法将动态网络建模为带属性的图，其中节点具有时间序列属性（如页面浏览量或邮件计数），图结构编码实体之间的关系。
• 采用霍普菲尔德网络将时间活动模式编码为记忆状态，使系统能够学习并回溯异常的集体行为。
• 通过在霍普菲尔德网络中迭代最小化能量函数，检测连接节点簇中活动的局部增加，从而识别异常。
• 该算法使用“潜在异常”概念，将计算限制在可能包含异常的区域，显著提升可扩展性。
• 采用基于 Apache Spark GraphX 的分布式实现，支持处理大规模数据集，如维基百科和爱诺恩电子邮件日志。
• 该方法支持从不完整输入中进行回溯，通过部分节点活动重建完整异常事件，模拟记忆恢复过程。

实验结果

研究问题

• RQ1 如何在大规模、随时间演化的网络中检测局部集体异常，其中节点活动以复杂、非同步的方式发生变化？
• RQ2 霍普菲尔德网络能否有效从动态网络数据中学习并回溯时空异常模式？
• RQ3 该方法在多大程度上能从不完整或含噪声的输入中恢复完整异常事件，模拟记忆回溯？
• RQ4 检测到的异常与真实世界事件有何关联？它们揭示了关于集体人类行为的哪些见解？
• RQ5 ‘潜在异常’概念是否能在不牺牲大规模动态图检测精度的前提下提升可扩展性？

主要发现

• 该方法成功检测到维基百科页面浏览量中的异常峰值，这些峰值与真实世界事件（如《查理周刊》袭击事件）相关联，相关文章集群显示出同步的活动激增。
• 在爱诺恩电子邮件数据集中，该算法识别出在重大企业事件期间邮件交流突然增加的员工群体，证实与实际组织动态一致。
• 霍普菲尔德网络模型展现出强大的回溯能力，在仅使用20%活跃节点的情况下，重建完整异常事件的误差极低，且在事件窗口期间表现稳定。
• 该模型在事件边界外遗忘活动，证实其仅捕获相关且具有因果关联的信号，从而减少噪声并提升可解释性。
• 该方法对超参数调优表现出高度鲁棒性，表明其在实际部署中具有良好的实用性。
• 所学习的网络结构作为人工集体记忆，存储并检索主题与事件之间的关联，暗示其与人类记忆系统存在深刻相似性。