[论文解读] Anomaly Detection Framework Using Rule Extraction for Efficient Intrusion Detection

Antti Juvonen, Tuomo Sipola|arXiv (Cornell University)|Oct 28, 2014

Network Security and Intrusion Detection参考文献 66被引用 5

一句话总结

本文提出了一种透明的、实时的入侵检测框架，该框架采用基于无监督扩散映射的降维与聚类技术对网络流量进行自动标注，随后通过合取规则提取实现高效的异常分类。该系统在KDD Cup 99和真实网络日志数据上均实现了高性能检测，无需预先提供攻击标签，具备可解释性、高效性与可扩展性。

ABSTRACT

Huge datasets in cyber security, such as network traffic logs, can be analyzed using machine learning and data mining methods. However, the amount of collected data is increasing, which makes analysis more difficult. Many machine learning methods have not been designed for big datasets, and consequently are slow and difficult to understand. We address the issue of efficient network traffic classification by creating an intrusion detection framework that applies dimensionality reduction and conjunctive rule extraction. The system can perform unsupervised anomaly detection and use this information to create conjunctive rules that classify huge amounts of traffic in real time. We test the implemented system with the widely used KDD Cup 99 dataset and real-world network logs to confirm that the performance is satisfactory. This system is transparent and does not work like a black box, making it intuitive for domain experts, such as network administrators.

研究动机与目标

• 解决黑箱机器学习模型在入侵检测中存在透明度低与计算效率低下的问题。
• 通过自动生成的人类可读规则，实现实时分类大规模网络流量。
• 开发一种系统，能够从未标记数据中学习正常行为，而无需事先了解攻击类型。
• 通过用可解释的合取规则替代黑箱模型，提升网络管理员对系统的透明度与可用性。
• 在基准数据集（KDD Cup 99）与真实网络日志数据集上验证该框架的有效性。

提出的方法

• 应用基于扩散映射的降维方法，提取网络流量特征的低维表示。
• 在降维后的数据上进行聚类，无监督地标注正常与异常的流量模式。
• 应用规则提取算法，从聚类标签中生成可解释的合取规则。
• 利用提取的规则对进入的网络流量进行快速、实时分类。
• 使用KDD Cup 99与真实世界HTTP日志进行训练与评估，性能通过混淆矩阵与马修斯相关系数衡量。
• 通过定期使用更新数据重新训练，支持动态适应，以保持准确性。

实验结果

研究问题

• RQ1 在缺乏攻击先验知识的前提下，无监督降维与聚类能否有效标注网络流量以实现异常检测？
• RQ2 从聚类数据中提取规则是否能生成可解释且高性能的分类器，以支持实时入侵检测？
• RQ3 该框架在多样化数据集（包括基准数据集与真实网络日志）上的表现如何？
• RQ4 在训练数据有限的情况下，系统性能能维持到何种程度？
• RQ5 领域专家能否对生成的规则进行有意义的解读，从而增强系统的透明度？

主要发现

• 在KDD Cup 99数据集上，使用10%的训练子集，该框架的马修斯相关系数达到0.91，表明分类性能优异。
• 较小的随机训练子集所获得的马修斯相关系数高于完整的10%数据集，表明数据多样性降低有助于提升规则学习效果。
• 在真实世界日志数据上，人工检查确认系统成功分离了正常与异常流量，尽管缺乏真实标签以计算指标。
• 基于规则的分类器实现了实时流量分类，且分类阶段的处理速度远快于规则生成阶段。
• 该系统在真实日志中检测实际入侵时表现出鲁棒性，即使在训练阶段未使用标注的攻击数据。
• 该框架的透明性使领域专家能够解读并验证规则，从而增强信任度与实际部署可行性。