[论文解读] Cyber-Attack Consequence Prediction

Prerit Datta, Natalie R. Lodinger+2 more|arXiv (Cornell University)|Dec 1, 2020

Network Security and Intrusion Detection参考文献 18被引用 5

一句话总结

本文提出一种基于机器学习的方法，利用自然语言处理（NLP）和向量化技术预测新型网络攻击的技术与非技术后果。通过在包含93起攻击的自定义数据集上进行训练，采用tf-idf特征与LinearSVC模型，模型准确率达到60%，证明了该方法在减轻安全分析师认知负担以及提升对非技术利益相关者攻击影响沟通效率方面的可行性。

ABSTRACT

Cyber-physical systems posit a complex number of security challenges due to interconnection of heterogeneous devices having limited processing, communication, and power capabilities. Additionally, the conglomeration of both physical and cyber-space further makes it difficult to devise a single security plan spanning both these spaces. Cyber-security researchers are often overloaded with a variety of cyber-alerts on a daily basis many of which turn out to be false positives. In this paper, we use machine learning and natural language processing techniques to predict the consequences of cyberattacks. The idea is to enable security researchers to have tools at their disposal that makes it easier to communicate the attack consequences with various stakeholders who may have little to no cybersecurity expertise. Additionally, with the proposed approach researchers' cognitive load can be reduced by automatically predicting the consequences of attacks in case new attacks are discovered. We compare the performance through various machine learning models employing word vectors obtained using both tf-idf and Doc2Vec models. In our experiments, an accuracy of 60% was obtained using tf-idf features and 57% using Doc2Vec method for models based on LinearSVC model.

研究动机与目标

• 减轻因大量网络警报而陷入信息过载的安全分析师的认知负担。
• 通过预测通俗易懂的影响，实现向非技术利益相关者有效传达攻击后果。
• 开发一种机器学习模型，基于文本描述预测新型攻击的后果。
• 评估不同NLP与机器学习技术在信息物理系统中后果预测任务上的性能表现。
• 构建并公开发布一个包含网络攻击及其标注的技术与非技术后果的公开数据集。

提出的方法

• 构建了一个包含93起多样化网络攻击的自定义数据集，包含文本描述以及标注的技术与非技术后果。
• 应用tf-idf与Doc2Vec进行词向量化，将文本描述转换为数值特征。
• 在向量化数据上训练多种机器学习分类器，包括LinearSVC、逻辑回归、多层感知机与随机森林。
• 在训练-测试集划分过程中使用分层抽样，以缓解数据集中类别不平衡的问题。
• 采用标准指标评估模型性能：准确率、精确率、召回率与F1分数。
• 在tf-idf与Doc2Vec两种特征集上，均选择LinearSVC作为性能最佳的模型。

实验结果

研究问题

• RQ1 基于文本描述，机器学习模型能否准确预测新型网络攻击的非技术后果？
• RQ2 不同的NLP嵌入技术——tf-idf与Doc2Vec——如何影响后果预测模型的性能？
• RQ3 在基于网络攻击描述的多分类后果预测任务中，哪种机器学习分类器表现最佳？
• RQ4 数据集中的类别不平衡在多大程度上影响模型性能？又该如何缓解？
• RQ5 该模型能否泛化到训练过程中未见过的新攻击，从而实现自动化影响评估？

主要发现

• 当使用tf-idf特征时，LinearSVC模型达到最高准确率60%，优于其他模型及基于Doc2Vec的方法。
• 基于Doc2Vec的模型在使用LinearSVC时达到57%的准确率，表明在本研究背景下，基于词频的特征（tf-idf）略优于语义嵌入。
• 随机森林分类器在两种特征集上表现均较差，准确率分别降至40%（tf-idf）与42%（Doc2Vec），表明基于树的集成方法在建模多样化网络攻击描述方面存在挑战。
• 性能最佳模型（LinearSVC + tf-idf）的F1分数为0.53，表明精确率与召回率之间达到中等平衡。
• 尽管准确率适中，但该结果作为自动化后果预测的初步尝试仍具前景，尤其考虑到数据集规模小且存在类别不平衡。
• 研究结果表明，通过超参数调优、更深层神经网络（如CNNs、RNNs）以及降维技术（如PCA或自编码器）可进一步提升性能。