[论文解读] CVE-driven Attack Technique Prediction with Semantic Information Extraction and a Domain-specific Language Model

Ehsan Aghaei, Ehab Al‐Shaer|arXiv (Cornell University)|Sep 6, 2023

Information and Cyber Security被引用 6

一句话总结

该论文提出 TTPpredictor，一种在大规模自动标注的 CVE 及其对应 MITRE ATT&CK 技术数据集上微调的领域专用语言模型（SecureBERT）。通过利用语义角色标注（SRL）从非结构化报告中提取威胁行为（SVO），并基于动词-宾语匹配将这些行为与 ATT&CK 功能进行关联，该方法在将 CVE 分类至 TTP 的任务中实现了 98% 的准确率和 95–98% 的 F1 分数，优于甚至超过 ChatGPT 的表现。

ABSTRACT

This paper addresses a critical challenge in cybersecurity: the gap between vulnerability information represented by Common Vulnerabilities and Exposures (CVEs) and the resulting cyberattack actions. CVEs provide insights into vulnerabilities, but often lack details on potential threat actions (tactics, techniques, and procedures, or TTPs) within the ATT&CK framework. This gap hinders accurate CVE categorization and proactive countermeasure initiation. The paper introduces the TTPpredictor tool, which uses innovative techniques to analyze CVE descriptions and infer plausible TTP attacks resulting from CVE exploitation. TTPpredictor overcomes challenges posed by limited labeled data and semantic disparities between CVE and TTP descriptions. It initially extracts threat actions from unstructured cyber threat reports using Semantic Role Labeling (SRL) techniques. These actions, along with their contextual attributes, are correlated with MITRE's attack functionality classes. This automated correlation facilitates the creation of labeled data, essential for categorizing novel threat actions into threat functionality classes and TTPs. The paper presents an empirical assessment, demonstrating TTPpredictor's effectiveness with accuracy rates of approximately 98% and F1-scores ranging from 95% to 98% in precise CVE classification to ATT&CK techniques. TTPpredictor outperforms state-of-the-art language model tools like ChatGPT. Overall, this paper offers a robust solution for linking CVEs to potential attack techniques, enhancing cybersecurity practitioners' ability to proactively identify and mitigate threats.

研究动机与目标

• 弥合 CVE 描述与 MITRE ATT&CK TTP 之间的语义鸿沟，后者在术语和上下文上常存在不匹配。
• 通过构建大规模自动标注数据集，解决训练 CVE 到 TTP 分类模型时标注数据稀缺的问题。
• 开发一种在 CVE-TTP 映射上微调的领域专用语言模型（SecureBERT），以提升分类性能。
• 通过语义角色标注与功能映射，实现在无需人工干预下对 CVE 进行精确、自动化的 TTP 分类。
• 通过领域专用适应与语义理解，使 TTPpredictor 在 CVE 到 TTP 分类准确率上超越通用大语言模型（如 ChatGPT）

提出的方法

• 使用语义角色标注（SRL）从非结构化网络安全威胁报告中提取威胁行为（主语-动词-宾语三元组，SVO）。
• 通过将提取的 SVO 中的动词-宾语（VO）对与已知攻击模式进行匹配，将 SVO 与 MITRE ATT&CK 威胁功能类别相关联。
• 通过上下文感知的 SVO 标注与功能映射，构建了一个大规模、迭代式且不断优化的 CVE 描述与 TTP 关联数据集。
• 在标注数据集上对领域专用语言模型 SecureBERT 进行微调，以学习 CVE 与 TTP 之间的语义及范式关系。
• 通过在超过 100,000 条威胁语句的语料库上进行迭代优化，提升数据质量与模型泛化能力。
• 将上下文属性（如方式、目的）整合到 SVO 表示中，以增强分类的语义精度。

实验结果

研究问题

• RQ1 语义角色标注（SRL）能否有效从非结构化 CVE 与威胁报告中提取可操作的威胁表示（SVO）？
• RQ2 提取的 SVO 与 MITRE ATT&CK 技术之间进行动词-宾语（VO）匹配，能否实现 CVE 到 TTP 的准确、自动化标注？
• RQ3 在自动标注数据上微调的领域专用语言模型（SecureBERT）能否实现高准确率的 CVE 到 TTP 分类？
• RQ4 所提出的 TTPpredictor 模型在 CVE-TTP 分类任务中的表现与最先进的通用大语言模型（如 ChatGPT）相比如何？
• RQ5 语义上下文（如目的、方式）的整合在多大程度上提升了 TTP 预测的精度？

主要发现

• TTPpredictor 在将 CVE 分类至其对应 MITRE ATT&CK 技术时，平均准确率达到约 98%。
• 该模型在不同 TTP 类别中的 F1 分数介于 95% 至 98% 之间，表明其性能强大且稳定。
• 在直接对比中，TTPpredictor 表现优于 ChatGPT，后者在相同分类任务中仅达到 20% 的准确率。
• 在包含超过 100,000 条威胁语句的大型语料库上进行的迭代优化过程，显著提升了数据质量与模型泛化能力。
• 通过 SRL 提取 SVO 并将其映射至 ATT&CK 功能，实现了无需人工标注的大规模自动标注数据集的构建。
• 在该数据集上对 SecureBERT 进行微调，使其性能优于先前方法，后者因训练集过小和 F1 分数偏低（如先前工作中为 47.84%）而受限。