[论文解读] AttacKG: Constructing Technique Knowledge Graph from Cyber Threat Intelligence Reports

Zhenyuan Li, Jun Zeng+2 more|arXiv (Cornell University)|Nov 13, 2021

Cybercrime and Law Enforcement Studies被引用 8

一句话总结

AttacKG 是一种新颖的框架，可自动从非结构化的网络威胁情报（CTI）报告中提取并聚合攻击技术，以构建技术知识图谱（TKG）。通过结合基于自然语言处理（NLP）的实体与依存关系抽取，以及与 MITRE ATT&CK 模板的图谱对齐，AttacKG 实现了较高的 F1 分数（实体为 0.887，依存关系为 0.896，技术为 0.789），并在 1,515 份报告中识别出 28,262 个攻击技术与 8,393 个独特的 IoC，显著优于先前的最先进方法。

ABSTRACT

Cyber attacks are becoming more sophisticated and diverse, making detection increasingly challenging. To combat these attacks, security practitioners actively summarize and exchange their knowledge about attacks across organizations in the form of cyber threat intelligence (CTI) reports. However, as CTI reports written in natural language texts are not structured for automatic analysis, the report usage requires tedious manual efforts of cyber threat intelligence recovery. Additionally, individual reports typically cover only a limited aspect of attack patterns (techniques) and thus are insufficient to provide a comprehensive view of attacks with multiple variants. To take advantage of threat intelligence delivered by CTI reports, we propose AttacKG to automatically extract structured attack behavior graphs from CTI reports and identify the adopted attack techniques. We then aggregate cyber threat intelligence across reports to collect different aspects of techniques and enhance attack behavior graphs into technique knowledge graphs (TKGs). In our evaluation against 1,515 real-world CTI reports from diverse intelligence sources, AttacKG effectively identifies 28,262 attack techniques with 8,393 unique Indicators of Compromises (IoCs). To further verify the accuracy of AttacKG in extracting threat intelligence, we run AttacKG on 16 manually labeled CTI reports. Empirical results show that AttacKG accurately identifies attack-relevant entities, dependencies, and techniques with F1-scores of 0.887, 0.896, and 0.789, which outperforms the state-of-the-art approaches Extractor and TTPDrill. Moreover, the unique technique-level intelligence will directly benefit downstream security tasks that rely on technique specifications, e.g., APT detection and cyber attack reconstruction.

研究动机与目标

• 为解决从非结构化 CTI 报告中手动恢复攻击知识的挑战，这些报告通常非正式且缺乏机器可读性。
• 通过在技术层面整合多份报告的威胁情报，克服单份报告带来的孤立洞察局限。
• 构建一个全面、知识增强的攻击图谱——称为技术知识图谱（TKG）——以捕捉完整的攻击链，并包含丰富的上下文与行为细节。
• 通过从基于 IoC 的威胁建模转向基于技术的威胁建模，提升检测的鲁棒性，使其更能抵御如域名轮换等规避技术。
• 通过提供结构化、可操作的技术级情报，支持下游安全任务，如 APT 检测与攻击重建。

提出的方法

• 通过 NLP 技术从 CTI 报告中提取与攻击相关的实体（如 CVE、IP 地址）及其依存关系（如命令与控制连接），构建攻击图谱。
• 使用 MITRE ATT&CK 知识库中真实世界的攻击流程示例初始化技术模板，作为参考模式。
• 采用改进的图谱对齐算法，基于节点相似度、最短路径距离和节点出现频率，计算攻击图谱与技术模板之间的节点级与边级对齐分数。
• 将对齐分数归一化至 [0,1] 区间，并与阈值比较，以识别匹配的子图，从而实现将现实世界中的攻击行为映射到标准化技术。
• 通过合并对齐攻击图谱中的新 IoC 和自然语言描述，动态更新技术模板，实现持续的知识聚合。
• 该框架支持多报告、多技术的集成，可构建统一的 TKG，以捕捉变体行为与替代攻击路径。

实验结果

研究问题

• RQ1 系统能否以高精度与高召回率，自动从非结构化的 CTI 报告中提取结构化的攻击行为图谱？
• RQ2 来自多份报告的攻击图谱在多大程度上能与标准化技术模板对齐，以识别共有的攻击者技术？
• RQ3 与单份报告分析相比，跨报告整合情报在多大程度上提升了攻击技术表示的完整性和准确性？
• RQ4 在实体、依存关系与技术提取性能方面，所提出方法与最先进的 CTI 解析工具相比表现如何？
• RQ5 所生成的技术知识图谱（TKG）能否通过提供丰富且可操作的情报，支持 APT 检测与攻击重建等高级安全任务？

主要发现

• AttacKG 在攻击相关实体提取上达到 0.887 的 F1 分数，在依存关系提取上达到 0.896，优于现有方法如 Extractor 和 TTPDrill。
• 系统在识别攻击者技术方面取得 0.789 的 F1 分数，表明其在将现实世界攻击行为映射到标准化技术方面具有强大鲁棒性。
• 从 1,515 份 CTI 报告中，AttacKG 成功提取出 28,262 个唯一攻击技术与 8,393 个不同指标（IoC）。
• 图谱对齐算法能有效将多样化的攻击图谱映射到技术模板，实现跨报告对变体行为与替代攻击路径的聚合。
• 技术模板的动态更新机制可实现 IoC 与描述性元数据的持续丰富，从而随时间推移增强知识库。
• 最终生成的技术知识图谱（TKG）提供了攻击链的全面、因果性表示，支持高级威胁检测与响应工作流。