[论文解读] Cybersecurity Threat Hunting and Vulnerability Analysis Using a Neo4j Graph Database of Open Source Intelligence

Elijah Pelofske, Lorie M. Liebrock+1 more|arXiv (Cornell University)|Jan 27, 2023

Advanced Malware Detection Techniques被引用 4

一句话总结

本文提出了一种基于Neo4j的图数据库，从多种来源（如威胁报告、社交媒体和杀毒扫描）聚合开源情报（OSINT），以自动化发现和关联入侵指标（IoCs）。通过从非结构化OSINT文档中提取结构化的IoCs（例如IP、域名、哈希值、CVE等），并利用机器学习增强的元数据将其链接，该系统可通过语义图查询实现高效的威胁狩猎、恶意软件家族聚类和漏洞分析，显著提升了从嘈杂、大规模OSINT中提取可操作洞察的可扩展性。

ABSTRACT

Open source intelligence is a powerful tool for cybersecurity analysts to gather information both for analysis of discovered vulnerabilities and for detecting novel cybersecurity threats and exploits. However the scale of information that is relevant for information security on the internet is always increasing, and is intractable for analysts to parse comprehensively. Therefore methods of condensing the available open source intelligence, and automatically developing connections between disparate sources of information, is incredibly valuable. In this research, we present a system which constructs a Neo4j graph database formed by shared connections between open source intelligence text including blogs, cybersecurity bulletins, news sites, antivirus scans, social media posts (e.g., Reddit and Twitter), and threat reports. These connections are comprised of possible indicators of compromise (e.g., IP addresses, domains, hashes, email addresses, phone numbers), information on known exploits and techniques (e.g., CVEs and MITRE ATT&CK Technique ID's), and potential sources of information on cybersecurity exploits such as twitter usernames. The construction of the database of potential IoCs is detailed, including the addition of machine learning and metadata which can be used for filtering of the data for a specific domain (for example a specific natural language) when needed. Examples of utilizing the graph database for querying connections between known malicious IoCs and open source intelligence documents, including threat reports, are shown. We show three specific examples of interesting connections found in the graph database; the connections to a known exploited CVE, a known malicious IP address, and a malware hash signature.

研究动机与目标

• 解决在网络安全威胁检测中开源情报（OSINT）面临的可扩展性与噪声问题。
• 从博客、新闻、社交媒体和威胁报告等非结构化OSINT来源中自动化识别和关联入侵指标（IoCs）。
• 构建一个可扩展、可查询的知识图谱，通过语义关系和元数据将IoCs与相关OSINT文档关联起来。
• 通过基于图的查询分析，实现高效的威胁狩猎、恶意软件家族聚类和漏洞分析，整合相互关联的网络安全数据。

提出的方法

• 从包括威胁报告、社交媒体（Reddit、Twitter）、杀毒扫描结果和新闻网站在内的多种来源聚合OSINT。
• 通过模式匹配从非结构化文本中提取潜在的IoCs（例如IP、域名、哈希值、CVE、MITRE ATT&CK ID）。
• 构建一个Neo4j图数据库，其中节点代表IoCs和OSINT文档，边代表共现关系或上下文关联关系。
• 通过集成机器学习模型提升数据质量，用于分类文档相关性（网络安全类 vs. 非网络安全类内容）并检测利用技术。
• 整合语言检测和置信度分数等元数据，以过滤并优先处理高质量、领域特定的OSINT文档。
• 通过Neo4j原生界面及外部工具（如PyGraphistry）实现图关系的交互式查询与可视化，支持大规模网络探索。

实验结果

研究问题

• RQ1 图数据库模型如何有效整合并关联多样化的非结构化OSINT来源，以提升威胁检测能力？
• RQ2 机器学习增强的元数据在多大程度上能提升从OSINT文档中提取的IoCs的相关性与质量？
• RQ3 基于图的IoC关系查询是否能比传统方法更有效地实现恶意软件家族聚类与基础设施发现？
• RQ4 该系统在大规模OSINT语料库中识别IoCs与威胁文档之间复杂、多跳关系时，其可扩展性与效率如何？

主要发现

• 系统成功构建了一个大规模的Neo4j图数据库，整合了来自多样化来源的相互关联的IoCs与OSINT文档，支持对网络安全关系的语义查询。
• 图查询揭示了已知恶意IoCs与相关OSINT文档之间的有意义关联，证明其在威胁狩猎与基础设施映射中的实用性。
• 即使哈希值不同，具有相同资源文件（如相同OriginalFilename和嵌入式资源）的恶意软件样本被识别为可能相关，表明其具有共同的开发来源。
• 大规模图扩展的可视化（如Qakbot的IP连接）表明，即使仅隔几跳，也能生成高度连接的子图，凸显基于图的探索价值。
• CTC与语言检测元数据的集成显著提升了查询精度，有效筛选出英文、与网络安全相关的文档。
• 该系统在识别相关恶意软件集群与基础设施方面展现出良好的可扩展性与实用性，支持高效的恶意软件家族聚类与漏洞分析。