[论文解读] Anomaly Detection in Dynamic Networks of Varying Size

Timothy La Fond, Jennifer Neville+1 more|arXiv (Cornell University)|Nov 13, 2014

Complex Network Analysis Techniques参考文献 13被引用 7

一句话总结

本文提出了密度一致的网络统计量——质量转移（Mass Shift）、度转移（Degree Shift）和三角形概率（Triangle Probability），这些统计量对网络边数的变化具有不变性，从而在边数动态变化的网络中实现准确的异常检测。通过将结构性变化与边数波动解耦，这些统计量提升了对真实行为变化的检测能力，在合成测试中召回率提高了20–400%，并在电子邮件和社交网络数据中发现了此前被遗漏的真实世界事件。

ABSTRACT

Dynamic networks, also called network streams, are an important data representation that applies to many real-world domains. Many sets of network data such as e-mail networks, social networks, or internet traffic networks are best represented by a dynamic network due to the temporal component of the data. One important application in the domain of dynamic network analysis is anomaly detection. Here the task is to identify points in time where the network exhibits behavior radically different from a typical time, either due to some event (like the failure of machines in a computer network) or a shift in the network properties. This problem is made more difficult by the fluid nature of what is considered "normal" network behavior. The volume of traffic on a network, for example, can change over the course of a month or even vary based on the time of the day without being considered unusual. Anomaly detection tests using traditional network statistics have difficulty in these scenarios due to their Density Dependence: as the volume of edges changes the value of the statistics changes as well making it difficult to determine if the change in signal is due to the traffic volume or due to some fundamental shift in the behavior of the network. To more accurately detect anomalies in dynamic networks, we introduce the concept of Density-Consistent network statistics. On synthetically generated graphs anomaly detectors using these statistics show a a 20-400% improvement in the recall when distinguishing graphs drawn from different distributions. When applied to several real datasets Density-Consistent statistics recover multiple network events which standard statistics failed to find.

研究动机与目标

• 解决在边数随时间变化的动态网络中检测真实结构性异常的挑战。
• 指出传统网络统计量（如聚类系数、度分布）具有密度依赖性，因此在网络规模波动时不可靠，难以用于异常检测。
• 提出一种严谨的框架，使网络统计量对边数变化保持不变，确保网络行为测量的一致性。
• 通过理论分析与实验验证，证明密度一致统计量在检测有意义的结构性变化方面优于依赖密度的统计量。
• 通过分离边分布的变化而非总边数，实现对重大网络事件（如通信激增或行为转变）的检测。

提出的方法

• 将密度一致性定义为一种属性，确保网络统计量在边数均匀缩放时保持不变。
• 提出三种新统计量：质量转移（衡量边分布的变化）、度转移（衡量度分布的变化）和三角形概率（衡量局部聚类概率的变化）。
• 将每种统计量形式化为归一化、边数无关的度量，反映边概率分布的变化。
• 使用基于正常时间步的零分布进行假设检验，当检验统计量显著偏离时标记异常。
• 应用子图分解技术，识别异常时间步中变化最显著的网络组件，聚焦于局部结构性变化。
• 通过合成图（具有已知分布偏移）和真实世界数据集（Enron电子邮件、学生Facebook群组、大学Facebook群组）对比性能。

实验结果

研究问题

• RQ1 当网络边数随时间变化时，传统网络统计量在检测异常方面失败的程度如何？
• RQ2 是否可以设计出对边数变化保持不变，同时仍能捕捉有意义结构性变化的网络统计量？
• RQ3 在检测合成与真实世界动态网络中的已知异常时，密度一致统计量与依赖密度的统计量相比表现如何？
• RQ4 密度一致统计量是否能更准确地识别出在异常时间步中发生剧烈结构性变化的子图？
• RQ5 这些统计量能否恢复标准异常检测方法所遗漏的真实世界网络事件（如季节性活动或重大通信激增）？

主要发现

• 密度一致统计量（质量转移、度转移、三角形概率）被证明对网络边数变化具有不变性，确保在不同网络规模下测量结果稳定。
• 在合成实验中，使用密度一致统计量的异常检测器在检测分布偏移时，召回率比使用传统依赖密度统计量的检测器高出20–400%。
• 在真实世界数据集中，密度一致统计量检测到了重大网络事件（如学期开始、节假日、春假），而依赖密度的统计量常因边数变化而错误标记时间步。
• 子图分析显示，由密度一致统计量检测出的异常涉及显著的局部结构性变化（如新型通信模式），而依赖密度统计量标记的异常则表现出极少的局部变化。
• 被依赖密度统计量标记但未被密度一致统计量标记的时间步，主要源于全局边数波动，而非网络结构的实际行为转变。
• 所提出的统计量成功隔离了边概率变化最显著的子图，证实其在大型动态网络中检测局部异常的能力。