[论文解读] Enabling Efficient Cyber Threat Hunting With Cyber Threat Intelligence

Peng Gao, Fei Shao+7 more|arXiv (Cornell University)|Oct 26, 2020

Network Security and Intrusion Detection参考文献 25被引用 11

一句话总结

ThreatRaptor 是一种通过从非结构化的开源网络威胁情报（OSCTI）文本中提取结构化的威胁行为——包括指标性妥协（IOCs）及其关系——来自动化网络威胁狩猎的系统。它使用轻量级自然语言处理（NLP）流水线构建威胁行为图，通过领域特定语言（TBQL）实现高效查询，并自动合成查询以在系统审计日志中高精度、低延迟地检测恶意活动。

ABSTRACT

Log-based cyber threat hunting has emerged as an important solution to counter sophisticated attacks. However, existing approaches require non-trivial efforts of manual query construction and have overlooked the rich external threat knowledge provided by open-source Cyber Threat Intelligence (OSCTI). To bridge the gap, we propose ThreatRaptor, a system that facilitates threat hunting in computer systems using OSCTI. Built upon system auditing frameworks, ThreatRaptor provides (1) an unsupervised, light-weight, and accurate NLP pipeline that extracts structured threat behaviors from unstructured OSCTI text, (2) a concise and expressive domain-specific query language, TBQL, to hunt for malicious system activities, (3) a query synthesis mechanism that automatically synthesizes a TBQL query for hunting, and (4) an efficient query execution engine to search the big audit logging data. Evaluations on a broad set of attack cases demonstrate the accuracy and efficiency of ThreatRaptor in practical threat hunting.

研究动机与目标

• 解决企业环境中手动威胁狩猎工作量大且易出错的问题。
• 克服现有方法依赖碎片化 IOCs 且忽略非结构化 OSCTI 报告中丰富上下文知识的局限性。
• 通过利用外部 OSCTI 知识和系统审计日志，实现自动化、可扩展且高精度的威胁狩猎。
• 通过从 OSCTI 衍生的威胁行为图自动合成查询，减少手动构建狩猎查询的工作量。
• 通过将威胁行为建模为 IOCs 之间的结构化关系，提升对多阶段攻击的检测能力，此类关系对签名变化更具鲁棒性。

提出的方法

• 开发一种无监督、轻量且准确的 NLP 流水线，专门针对安全领域特有的细微特征（如 IOCs 中的特殊字符）进行优化，从非结构化 OSCTI 报告中提取 IOCs 及其关系。
• 构建一个结构化的威胁行为图，其中节点代表 IOCs（如文件路径、IP 地址），边代表它们之间的语义关系（如“读取”、“执行”）。
• 提出威胁行为查询语言（TBQL），一种简洁且表达力强的领域特定语言，用于在系统审计日志上编写查询，以检测恶意事件序列。
• 采用查询合成机制，从威胁行为图自动生成 TBQL 查询，同时过滤掉系统审计数据不支持的 IOC 类型，以确保兼容性。
• 利用与 PostgreSQL 和 Neo4j 集成的高性能查询执行引擎，高效搜索大规模审计日志数据集（每台主机每天 0.5–1 GB）。
• 引入预合成筛选步骤，通过排除系统审计组件未捕获的 IOCs 来提高效率。

实验结果

研究问题

• RQ1 尽管存在安全领域特有的语法复杂性（如特殊字符和非标准格式），无监督 NLP 流水线是否能准确地从非结构化 OSCTI 报告中提取 IOCs 及其语义关系？
• RQ2 领域特定查询语言（TBQL）在多步骤、复杂威胁行为的表达上有多强的表达能力，能否有效支持系统审计日志中的威胁狩猎？
• RQ3 从 OSCTI 衍生的威胁行为图中自动合成查询，在减少人工工作量的同时，其检测准确率是否仍能保持较高水平？
• RQ4 将 OSCTI 知识与系统审计日志相结合，是否能显著提升对复杂多阶段攻击的检测能力，相比仅使用 IOCs 的方法？
• RQ5 在大规模审计日志工作负载上执行 TBQL 查询时，其性能开销和可扩展性如何？

主要发现

• NLP 流水线在存在安全领域特有句法复杂性（如特殊字符和非标准格式）的情况下，仍能高精度地从 OSCTI 报告中提取 IOCs 及其关系。
• ThreatRaptor 的查询合成机制显著减少了手动编写狩猎查询的工作量，使安全分析师能够将精力集中于威胁分析，而非低层级查询构建。
• 系统在处理大规模审计日志（每台主机每天 0.5–1 GB）方面表现出高效率，查询执行引擎可实现在大数据集上的低延迟搜索。
• 在一系列真实世界攻击案例上的评估表明，ThreatRaptor 通过在威胁行为图中识别作为事件路径的复杂链式行为，成功检测出多阶段攻击。
• 使用结构化的威胁行为图可提升对基于签名的规避技术的检测鲁棒性，因为攻击者难以在不破坏攻击链语义流程的情况下更改其行为。
• 通过与 Poirot 的不精确图模式匹配技术集成，系统增强了模糊搜索模式，支持完整的子图对齐，相比单次迭代方法显著提升了检测覆盖率。