[论文解读] "Flow Size Difference" Can Make a Difference: Detecting Malicious TCP Network Flows Based on Benford's Law

Aamo Iorliam, Santosh Tirunagari+4 more|arXiv (Cornell University)|Sep 14, 2016

Benford’s Law and Fraud Detection参考文献 42被引用 4

一句话总结

本文提出了一种新颖的无监督入侵检测系统（IDS），通过将本福德定律（Benford’s law）应用于一种新型网络流度量——'流大小差异'（flow size difference），以检测恶意TCP流。正常流在此度量下符合本福德定律，而恶意流则显著偏离，从而实现高效的异常检测，在真实数据集上无需训练数据或复杂配置即可获得高AUC性能。

ABSTRACT

Statistical characteristics of network traffic have attracted a significant amount of research for automated network intrusion detection, some of which looked at applications of natural statistical laws such as Zipf's law, Benford's law and the Pareto distribution. In this paper, we present the application of Benford's law to a new network flow metric "flow size difference", which have not been studied before by other researchers, to build an unsupervised flow-based intrusion detection system (IDS). The method was inspired by our observation on a large number of TCP flow datasets where normal flows tend to follow Benford's law closely but malicious flows tend to deviate significantly from it. The proposed IDS is unsupervised, so it can be easily deployed without any training. It has two simple operational parameters with a clear semantic meaning, allowing the IDS operator to set and adapt their values intuitively to adjust the overall performance of the IDS. We tested the proposed IDS on two (one closed and one public) datasets, and proved its efficiency in terms of AUC (area under the ROC curve). Our work showed the "flow size difference" has a great potential to improve the performance of any flow-based network IDSs.

研究动机与目标

• 调查新提出的度量'流大小差异'在正常TCP网络流量中是否符合本福德定律。
• 基于本福德定律应用于流大小差异，开发一种无监督、基于阈值的IDS，用于检测恶意流。
• 在带有恶意活动标签的真实世界和公开网络数据集上评估该方法的性能。
• 证明流大小差异作为异常指标优于仅使用流大小。
• 提供一种简单、可解释的IDS，包含两个直观参数，适用于实际部署。

提出的方法

• 作者将'流大小差异'定义为双向TCP流中发送字节数与接收字节数的绝对差值。
• 将本福德定律应用于一系列网络流中流大小差异值的首位数分布。
• 该方法使用两个操作参数：T（本福德定律拟合偏差的阈值）和W（流聚合的滑动窗口大小）。
• 当在W个流的窗口内，本福德定律拟合的Kolmogorov-Smirnov检验p值低于T时，即标记为异常。
• IDS以无监督方式运行，无需标注训练数据，且允许操作员直观调节参数。
• 该方法在两个数据集上进行了评估：一个封闭的TRT数据集和一个公开数据集，以AUC为主要性能指标。

实验结果

研究问题

• RQ1 正常TCP流中的流大小差异度量是否与本福德定律高度吻合？
• RQ2 恶意TCP流在流大小差异度量中是否与本福德定律存在显著偏离？
• RQ3 基于本福德定律应用于流大小差异的无监督IDS是否能以最少的配置实现高性能检测？
• RQ4 参数T和W如何影响IDS的检测准确率及其对不断演变威胁的适应能力？
• RQ5 该方法是否可推广至其他流类型（如UDP或ICMP），或推广至本福德定律的广义形式？

主要发现

• 正常TCP流在流大小差异度量中表现出对本福德定律的强烈符合性，而恶意流则显示出显著偏离。
• 所提出的IDS在封闭TRT数据集和公开数据集上均实现了高AUC性能，展现出强大的检测能力。
• 该方法无需训练数据，因此可在缺乏攻击特征签名知识的实际环境中直接部署。
• 两个参数T和W具有明确的语义含义，使操作员能够直观调节系统以达到期望的灵敏度和响应速度。
• 该方法对规避尝试具有鲁棒性，因为攻击者需精确模仿本福德定律或大幅降低攻击流量，而这两者均不切实际或自相矛盾。
• 该方法有望通过引入一种源自流大小差异的新型、统计稳健的特征，提升现有基于流的IDS性能。