[论文解读] Distributed detection/localization of change-points in high-dimensional network traffic data

A. Lung-Yut-Fong, Céline Lévy‐Leduc+1 more|Sep 30, 2009

Time Series Analysis and Forecasting被引用 7

一句话总结

本文提出 DTopRank，一种用于高维网络流量的分布式异常点检测方法，以检测并定位 DDoS 攻击。通过在本地监控器中筛选出排名靠前的 IP 地址，并在中央收集器上对右删失时间序列应用非参数秩检验，DTopRank 实现了接近集中式检测性能的同时显著降低了通信开销，从而在大规模网络中实现了实时异常检测。

ABSTRACT

We propose a novel approach for distributed statistical detection of change-points in high-volume network traffic. We consider more specifically the task of detecting and identifying the targets of Distributed Denial of Service (DDoS) attacks. The proposed algorithm, called DTopRank, performs distributed network anomaly detection by aggregating the partial information gathered in a set of network monitors. In order to address massive data while limiting the communication overhead within the network, the approach combines record filtering at the monitor level and a nonparametric rank test for doubly censored time series at the central decision site. The performance of the DTopRank algorithm is illustrated both on synthetic data as well as from a traffic trace provided by a major Internet service provider.

研究动机与目标

• 解决在高维、高流量网络流量中检测和定位 DDoS 攻击的挑战，其中集中式处理在计算上不可行。
• 通过去中心化数据处理并仅将本地监控器中最相关的信息传输至中央收集器，降低大规模网络中的通信开销。
• 通过聚合多个网络监控器的局部信息，实现实时异常检测，这些异常在单个监控器中无法被检测到。
• 在分布式、资源受限的条件下运行时，保持接近完全集中式检测的统计性能。
• 提供一种分层检测框架，与树状结构网络监控兼容，确保在监控器和收集器层级上一致应用检测方法。

提出的方法

• 在每个本地监控器上应用记录过滤，基于其与正常流量模式的偏离程度识别最相关的 IP 地址。
• 在本地使用 TopRank 算法为每个 IP 地址计算 p 值，并根据偏离的统计显著性进行排序。
• 仅从每个监控器向中央收集器传输 p 值排名前 M 位的 IP 地址，使数据传输量降低数个数量级。
• 在收集器端，对由聚合的高排名 IP 流量数据形成的双重删失时间序列执行非参数秩检验。
• 利用在原假设（无异常点）下秩检验统计量的渐近分布，通过布朗运动桥近似进行推断。
• 通过允许在树状网络中的多个聚合层级上应用相同的检测机制，确保与分层监控的兼容性。

实验结果

研究问题

• RQ1 分布式方法是否能在高维网络流量中实现与完全集中式异常点检测相当的检测性能？
• RQ2 如何在保留对数千个 IP 地址中细微 DDoS 攻击检测能力的前提下，最小化通信开销？
• RQ3 非参数秩检验是否能有效处理从聚合过滤后的网络监控数据中导出的双重删失时间序列？
• RQ4 所提出的方法是否能检测到因单个 IP 流中信噪比较低而无法在本地识别的攻击？
• RQ5 该检测机制是否可扩展至具有不同粒度层级的分层网络监控架构？

主要发现

• 即使仅从每个监控器传输排名前 M 位的 IP 地址，DTopRank 算法的检测性能仍接近完全集中式检测器。
• 该方法成功检测到因单个 IP 流中信号强度较低而无法在本地检测的 DDoS 攻击，通过聚合多个监控器的信息实现。
• 通信开销被大幅降低——仅传输统计上最显著的 IP 地址——使得在大规模网络中实现实时部署成为可能。
• 对双重删失数据执行的非参数秩检验对分布假设具有鲁棒性，并在原假设下保持了有效的第一类错误控制。
• 在较弱正则性条件下，检验统计量的渐近分布收敛于布朗运动桥，支持在大样本中进行可靠推断。
• 该方法的分层扩展是可行的，因为相同的检测机制在监控器和收集器层级上保持一致，支持多粒度异常检测。