[论文解读] A New Approach to Dimensionality Reduction for Anomaly Detection in Data Traffic

Tingshan Huang, Harish Sethu+1 more|arXiv (Cornell University)|Jun 14, 2016

Network Security and Intrusion Detection参考文献 23被引用 3

一句话总结

本文提出了一种新颖的基于距离的子空间方法，用于网络异常检测中的降维，根据观测流量与正常流量协方差矩阵之间的结构性差异，动态调整每个时间窗的维度数量。与基于方差的PCA不同，该方法使用最大子空间距离以更快速、更准确地检测异常，并通过集中式与分布式算法变体在真实流量轨迹上进行了验证。

ABSTRACT

The monitoring and management of high-volume feature-rich traffic in large networks offers significant challenges in storage, transmission and computational costs. The predominant approach to reducing these costs is based on performing a linear mapping of the data to a low-dimensional subspace such that a certain large percentage of the variance in the data is preserved in the low-dimensional representation. This variance-based subspace approach to dimensionality reduction forces a fixed choice of the number of dimensions, is not responsive to real-time shifts in observed traffic patterns, and is vulnerable to normal traffic spoofing. Based on theoretical insights proved in this paper, we propose a new distance-based approach to dimensionality reduction motivated by the fact that the real-time structural differences between the covariance matrices of the observed and the normal traffic is more relevant to anomaly detection than the structure of the training data alone. Our approach, called the distance-based subspace method, allows a different number of reduced dimensions in different time windows and arrives at only the number of dimensions necessary for effective anomaly detection. We present centralized and distributed versions of our algorithm and, using simulation on real traffic traces, demonstrate the qualitative and quantitative advantages of the distance-based subspace approach.

研究动机与目标

• 解决基于方差的PCA在异常检测中的局限性，例如固定维度和对实时流量变化响应迟缓的问题。
• 通过聚焦于正常流量与观测流量之间协方差矩阵的差异，克服传统方法对正常流量欺骗的脆弱性。
• 开发一种动态、自适应的降维方法，为每个时间窗仅选择必要的维度数量，以实现有效的异常检测。
• 设计算法的集中式与分布式版本，以支持大规模网络监控系统中的可扩展部署。

提出的方法

• 提出一种新度量——最大子空间距离，用于量化正常流量与观测流量协方差矩阵之间的结构性差异。
• 制定一种基于距离的子空间方法，动态计算每个时间窗的最优维度数量，而非像PCA那样使用固定的k值。
• 使用奇异值分解（SVD）和幂迭代方法，计算由协方差矩阵差异导出的投影矩阵的主导奇异值。
• 实现一种集中式算法（getESD），通过基于SVD的幂迭代方法计算最大子空间距离。
• 设计一种分布式变体（getESD-D），利用平均一致性与局部幂迭代，在网络化节点之间实现可扩展计算。
• 利用异常会改变流量特征相关性的事实，使协方差矩阵的偏差成为异常检测的可靠信号。

实验结果

研究问题

• RQ1 基于距离的动态降维方法是否能在检测网络异常方面优于固定k值的基于方差的PCA？
• RQ2 如何根据实时流量相对于正常行为的偏差，自适应地选择每个时间窗的降维维度数量？
• RQ3 与传统PCA相比，最大子空间距离度量在提升异常检测灵敏度和降低误报率方面有多大改善？
• RQ4 在大规模网络监控中，基于距离的方法的分布式实现存在哪些计算与通信权衡？

主要发现

• 所提出的基于距离的子空间方法可动态选择每个时间窗的维度数量，消除了对预定义方差阈值的依赖。
• 该方法通过聚焦于协方差结构的变化而非总方差，展现出更优的异常检测性能，提高了对细微或伪装异常的敏感度。
• 在真实流量轨迹上的仿真结果表明，该方法的检测准确率更高，且误报率低于基于方差的PCA。
• 分布式版本（getESD-D）在保持高准确率的同时实现了高效扩展，计算复杂度为O(kpMΔS)，通信复杂度为O(kMΔ + kpΔS)。
• 理论分析证明，投影矩阵的主导奇异值随维度单调递增，确保了幂迭代方法的收敛性与稳定性。
• 该方法对正常流量欺骗具有鲁棒性，因为它检测的是协方差矩阵的结构性变化，而不仅仅是方差偏差。