[论文解读] Network Traffic Anomaly Detection

Hongbin Huang, Hussein Al-Azzawi+1 more|arXiv (Cornell University)|Feb 4, 2014

Network Security and Intrusion Detection参考文献 26被引用 23

一句话总结

本文提出了一种关于非签名型网络流量异常检测的全面教程，重点介绍基于主成分分析（PCA）、基于Sketch以及基于信号分析的方法。该文提出了一套统一的异常检测框架，并采用关联规则挖掘技术提取异常，显著降低了真实骨干网络数据中的误报率和检测成本。

ABSTRACT

This paper presents a tutorial for network anomaly detection, focusing on non-signature-based approaches. Network traffic anomalies are unusual and significant changes in the traffic of a network. Networks play an important role in today's social and economic infrastructures. The security of the network becomes crucial, and network traffic anomaly detection constitutes an important part of network security. In this paper, we present three major approaches to non-signature-based network detection: PCA-based, sketch-based, and signal-analysis-based. In addition, we introduce a framework that subsumes the three approaches and a scheme for network anomaly extraction. We believe network anomaly detection will become more important in the future because of the increasing importance of network security.

研究动机与目标

• 为解决非签名型网络异常检测领域缺乏全面教程的问题。
• 系统性地概述三种主要的非签名型检测方法：基于PCA的方法、基于Sketch的方法以及基于信号分析的方法。
• 构建一个统一框架，整合上述三种方法，以提升检测效果与异常提取能力。
• 通过在NetFlow数据上应用关联规则挖掘，降低异常识别过程中的误报率与检测成本。
• 使非专家与专家均能理解并实现先进的异常检测技术。

提出的方法

• 利用主成分分析（PCA）通过建模正常流量行为来检测异常，并在特征空间中标识偏离正常模式的异常点。
• 采用Sketch数据结构，通过网络流量的概率性摘要实现低复杂度、低存储的异常检测。
• 应用信号处理技术，如小波变换、卡尔曼滤波器以及时间序列统计方法，检测时间维度上的流量模式异常。
• 提出一种网络异常图谱（network anomography）框架，将PCA、Sketch与信号分析方法整合为统一的检测架构。
• 采用迭代直方图分箱移除与基于散度的阈值（如Kullback-Leibler散度）方法，识别异常的特征值。
• 应用改进的Apriori算法从NetFlow记录中提取频繁项集，再利用关联规则识别与异常相关的共现流量特征。

实验结果

研究问题

• RQ1 如何系统性地向具有不同信号处理专业背景的研究人员传授非签名型异常检测方法？
• RQ2 基于PCA、基于Sketch与基于信号分析的异常检测方法在应对多种异常类型时，其相对优势与局限性分别是什么？
• RQ3 能否构建一个统一框架，有效整合PCA、Sketch与信号分析技术，形成单一异常检测系统？
• RQ4 关联规则挖掘在降低误报率与提升网络流量中检测到的异常的可解释性方面，有何作用？
• RQ5 异常提取技术在真实骨干网络流量记录中，对检测成本与误报率的影响如何？

主要发现

• 所提出的框架成功将基于PCA、基于Sketch与基于信号分析的方法统一为一个连贯的网络异常图谱系统。
• 通过关联规则挖掘，在15分钟的骨干网络流量记录（含350,872个被标记异常）中，显著降低了检测成本与误报率。
• 成功识别出如HTTP代理流量（DP=80）、回溯攻击（随机SP，固定DP=9022）以及DDoS攻击（DP=7000）等异常。
• 通过要求特征值在多个直方图克隆中均被识别，实现了高特异性，将误报率降低至(1/m)^k的概率水平。
• 基于估计散度ΔtD(p||q)的3σ检测阈值能有效在多时段异常的起始与结束时刻触发报警。
• 迭代分箱移除过程成功隔离出异常的直方图分箱及其关联的流量特征，提升了异常定位的准确性。