[论文解读] From Threat Reports to Continuous Threat Intelligence: A Comparison of Attack Technique Extraction Methods from Textual Artifacts

Md Rayhanur Rahman, Laurie Williams|arXiv (Cornell University)|Oct 5, 2022

Cybercrime and Law Enforcement Studies被引用 4

一句话总结

本研究使用TF-IDF、LSI及其他NLP技术，从网络安全威胁报告中评估并比较了五种基于文本的TTP（战术、技术和程序）提取方法。研究发现，TF-IDF和LSI分别取得了最高的F1分数（84%和83%），并证明了过采样技术在处理类别不平衡数据集时可提升性能，为未来TTP提取研究提供了基准，同时公开了开源代码和数据集。

ABSTRACT

The cyberthreat landscape is continuously evolving. Hence, continuous monitoring and sharing of threat intelligence have become a priority for organizations. Threat reports, published by cybersecurity vendors, contain detailed descriptions of attack Tactics, Techniques, and Procedures (TTP) written in an unstructured text format. Extracting TTP from these reports aids cybersecurity practitioners and researchers learn and adapt to evolving attacks and in planning threat mitigation. Researchers have proposed TTP extraction methods in the literature, however, not all of these proposed methods are compared to one another or to a baseline. extit{The goal of this study is to aid cybersecurity researchers and practitioners choose attack technique extraction methods for monitoring and sharing threat intelligence by comparing the underlying methods from the TTP extraction studies in the literature.} In this work, we identify ten existing TTP extraction studies from the literature and implement five methods from the ten studies. We find two methods, based on Term Frequency-Inverse Document Frequency(TFIDF) and Latent Semantic Indexing (LSI), outperform the other three methods with a F1 score of 84\% and 83\%, respectively. We observe the performance of all methods in F1 score drops in the case of increasing the class labels exponentially. We also implement and evaluate an oversampling strategy to mitigate class imbalance issues. Furthermore, oversampling improves the classification performance of TTP extraction. We provide recommendations from our findings for future cybersecurity researchers, such as the construction of a benchmark dataset from a large corpus; and the selection of textual features of TTP. Our work, along with the dataset and implementation source code, can work as a baseline for cybersecurity researchers to test and compare the performance of future TTP extraction methods.

研究动机与目标

• 比较现有从网络安全威胁报告中提取TTP方法的性能，以指导从业者和研究人员选择合适方法。
• 评估类别不平衡以及标签数量增加对TTP分类性能的影响。
• 评估过采样技术在缓解因数据集类别不平衡导致性能下降方面的有效性。
• 通过实现并评估五种代表性方法，建立可复现的基准，以供未来TTP提取研究使用。
• 为TTP提取任务中的特征选择与模型调优提出最佳实践建议。

提出的方法

• 本研究从现有文献中实现五种TTP提取方法：M:LSI、M:TFIDF-NP、M:TFIDF、M:LIS-Co和M:BM25，以ATT&CK框架作为真实标签。
• 利用TF-IDF、LSI及其他基于NLP的特征提取技术处理威胁报告中攻击流程的文本描述，将文档转化为数值化表示。
• 应用六种分类器并使用默认超参数，评估不同方法下的分类性能。
• 对数值化的文本特征应用一种合成过采样策略（SMOTE），以解决数据集中的类别不平衡问题。
• 通过逐步增加标签数量（即TTP类别数）来评估性能变化，以模拟不断演化的威胁环境。
• 从威胁报告中构建了一个基准数据集，所有实现代码均在GitHub上公开。

实验结果

研究问题

• RQ1 RQ1：在不同分类器下，TTP提取方法在将攻击流程的文本描述分类到攻击技术时的表现如何？
• RQ2 RQ2：类别不平衡如何影响TTP提取方法的性能？过采样是否能改善分类结果？
• RQ3 RQ3：随着分类标签数量的增加，TTP提取方法的性能如何退化？
• RQ4 RQ4：哪些文本特征对TTP分类最有效？这对未来特征工程有何启示？

主要发现

• 基于TF-IDF和LSI的方法分别取得了84%和83%的最高F1分数，优于其他方法在TTP分类中的表现。
• 所有方法在标签数量增加时性能均下降，表明随着TTP分类体系扩大，存在可扩展性挑战。
• 使用SMOTE进行过采样可提升分类性能，减少对多数类别的偏差。
• 本研究识别出TF-IDF是TTP分类中最具主导性的特征，建议在未来的特征工程中优先考虑。
• 作者建议构建标准化基准数据集，并开展超参数调优，以进一步提升模型性能。
• 所有五种实现方法的数据集和源代码均已公开，支持可复现性及未来方法的对比研究。