[论文解读] Intrusion Alert Prediction Using a Hidden Markov Model

Udaya Sampath K. Perera Miriya Thanthrige, Jagath Samarabandu+1 more|arXiv (Cornell University)|Oct 24, 2016

Network Security and Intrusion Detection参考文献 9被引用 9

一句话总结

本文提出了一种基于隐马尔可夫模型（HMM）的框架，利用词袋模型（bag-of-words）和k-means聚类将警报属性聚类为簇，以预测未来的入侵警报。该方法在单步和五步警报簇预测中分别实现了81%和77%的准确率，在警报类别预测中分别达到95%和92%的准确率，相较于先前的可变长度马尔可夫链方法在类别预测上提升了5%，同时为响应操作提供了更丰富的上下文信息。

ABSTRACT

Intrusion detection is only a starting step in securing IT infrastructure. Prediction of intrusions is the next step to provide an active defense against incoming attacks. Current intrusion prediction methods focus mainly on prediction of either intrusion type or intrusion category and do not use or provide contextual information such as source and target IP address. In addition most of them are dependant on domain knowledge and specific scenario knowledge. The proposed algorithm employs a bag-of-words model together with a hidden Markov model which not depend on specific domain knowledge. Since this algorithm depends on a training process it is adaptable to different conditions. A key advantage of the proposed algorithm is the inclusion of contextual data such as source IP address, destination IP range, alert type and alert category in its prediction, which is crucial for an eventual response. Experiments conducted using a public data set generated over 2500 alert predictions and achieved accuracy of 81% and 77% for single step and five step predictions respectively for prediction of the next alert cluster. It also achieved an accuracy of prediction of 95% and 92% for single step and five step predictions respectively for prediction of the next alert category. The proposed methods achieved a prediction accuracy improvement of 5% for alert category over existing variable length Markov chain intrusion prediction methods, while providing more information for a possible defense.

研究动机与目标

• 开发一种与领域无关的入侵警报预测系统，不依赖于特定攻击知识或预设场景。
• 通过预测警报类型或类别、源IP、目标IP及警报类型，提升入侵响应能力，实现可操作的防御。
• 通过将多个警报属性整合为统一的警报簇表示，提升预测准确率与上下文丰富性。
• 构建一个可训练、可适应的模型，能够随网络环境和攻击模式的变化而演化。
• 解决现有方法仅关注警报类别或类型，而忽略攻击者-受害者上下文的局限性。

提出的方法

• 该方法使用词袋模型（BoW）将警报属性（如警报类型、类别、源IP、目标IP范围）编码为特征向量。
• 应用k-means聚类将相似警报分组为警报簇，降低维度并支持序列建模。
• 在警报簇序列上训练隐马尔可夫模型（HMM），以建模时间依赖性并预测下一个簇。
• 使用Baum-Welch算法训练HMM，从历史警报序列中估计转移概率和发射概率。
• 通过维特比算法（Viterbi algorithm）进行预测，以找到最可能的隐藏状态序列及其对应的警报簇。
• 该框架支持单步和多步预测，评估基于对下一警报簇或类别的预测精确率。

实验结果

研究问题

• RQ1 仅使用警报属性且不依赖领域特定知识的基于序列的HMM模型，能否有效预测未来的入侵警报？
• RQ2 在警报簇中包含源IP、目标IP和警报类型，相较于仅基于类别的模型，如何提升入侵预测的准确率与可操作性？
• RQ3 为最大化入侵警报预测的准确率，警报簇和隐藏状态的最优数量是多少？
• RQ4 与现有可变长度马尔可夫链方法相比，所提出的基于HMM的警报簇预测方法在警报类别预测上的性能如何？
• RQ5 该模型在未见入侵类型（训练数据中未出现的类型）上的泛化能力如何？

主要发现

• 所提出的基于HMM的警报簇预测在DARPA数据集上实现了单步预测81%的准确率和五步预测77%的准确率。
• 警报类别预测的准确率分别达到单步95%和五步92%，相较于先前的可变长度马尔可夫链方法提升了5%。
• 簇数较少时（如5个簇）准确率最高（例如，第3级预测准确率达88%），但簇数过少可能导致不同警报类型被错误合并。
• 与较少隐藏状态（2–4个）相比，更多隐藏状态（5–8个）显著提升了预测准确率，第1级准确率差异达24%。
• 该框架成功预测了包含源IP和目标IP的完整警报簇，支持针对性和上下文感知的入侵响应。
• 该模型在预测训练数据中未出现的入侵类型方面存在局限，且仍易受旨在误导检测系统的对抗性虚假警报影响。