[論文レビュー] Cybersecurity Threat Hunting and Vulnerability Analysis Using a Neo4j Graph Database of Open Source Intelligence

Elijah Pelofske, Lorie M. Liebrock+1 more|arXiv (Cornell University)|Jan 27, 2023

Advanced Malware Detection Techniques被引用数 4

ひとこと要約

本論文では、脅威レポート、ソーシャルメディア、アンチウイルススキャンなど、多様なソースからのオープンソースインテリジェンス（OSINT）を集約するNeo4jベースのグラフデータベースを提案する。このシステムは、機械学習で強化されたメタデータを介して構造化されたIoC（侵害の兆候）を非構造的OSINT文書にリンクさせることで、脅威ハンティング、マルウェアファミリーのクラスタリング、脆弱性分析を、意味的グラフクエリにより効率的に行う。これにより、ノイズが多くスケールが大きなOSINTからのスケーラビリティとインサイト抽出が著しく向上する。

ABSTRACT

Open source intelligence is a powerful tool for cybersecurity analysts to gather information both for analysis of discovered vulnerabilities and for detecting novel cybersecurity threats and exploits. However the scale of information that is relevant for information security on the internet is always increasing, and is intractable for analysts to parse comprehensively. Therefore methods of condensing the available open source intelligence, and automatically developing connections between disparate sources of information, is incredibly valuable. In this research, we present a system which constructs a Neo4j graph database formed by shared connections between open source intelligence text including blogs, cybersecurity bulletins, news sites, antivirus scans, social media posts (e.g., Reddit and Twitter), and threat reports. These connections are comprised of possible indicators of compromise (e.g., IP addresses, domains, hashes, email addresses, phone numbers), information on known exploits and techniques (e.g., CVEs and MITRE ATT&CK Technique ID's), and potential sources of information on cybersecurity exploits such as twitter usernames. The construction of the database of potential IoCs is detailed, including the addition of machine learning and metadata which can be used for filtering of the data for a specific domain (for example a specific natural language) when needed. Examples of utilizing the graph database for querying connections between known malicious IoCs and open source intelligence documents, including threat reports, are shown. We show three specific examples of interesting connections found in the graph database; the connections to a known exploited CVE, a known malicious IP address, and a malware hash signature.

研究の動機と目的

• サイバーセキュリティ脅威検出におけるオープンソースインテリジェンス（OSINT）のスケーリングとノイズの課題に対処すること。
• ブログ、ニュース、ソーシャルメディア、脅威レポートなどの非構造的OSINTソースから、侵害の兆候（IoC）の特定と相関を自動化すること。
• 意味的関係とメタデータを用いて、IoCと関連OSINT文書をリンクさせるスケーラブルでクエリ可能な知識グラフを構築すること。
• 相互接続されたサイバーセキュリティデータに対するグラフベースのクエリを通じて、効率的な脅威ハンティング、マルウェアファミリーのクラスタリング、脆弱性分析を可能にすること。

提案手法

• 脅威レポート、ソーシャルメディア（Reddit、Twitter）、アンチウイルススキャン結果、ニュースサイトなど、多様なソースからのOSINTを集約する。
• 非構造的テキストからのパターンマッチングを用いて、潜在的なIoC（例：IPアドレス、ドメイン、ハッシュ、CVE、MITRE ATT&CK ID）を抽出する。
• ノードがIoCおよびOSINT文書を表し、エッジが共起関係または文脈的関係を表すNeo4jグラフデータベースを構築する。
• 機械学習モデルを統合して、ドキュメントの関連性（サイバーセキュリティ対象 vs. 非サイバーセキュリティ対象コンテンツ）を分類し、エクスプロイト技術を検出することで、データ品質を向上させる。
• 言語検出や信頼度スコアなどのメタデータを組み込み、高品質でドメイン特化されたOSINT文書をフィルタリングおよび優先順位付けする。
• Neo4jのネイティブインターフェースおよびPyGraphistryなどの外部ツールを活用して、グラフ関係のインタラクティブなクエリと可視化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 グラフデータベースモデルは、脅威検出を向上させるために、多様で非構造的なOSINTソースを効果的に統合・相関させることができるか？
• RQ2 機械学習で強化されたメタデータは、OSINT文書からの抽出IoCの関連性と品質をどの程度向上させることができるか？
• RQ3 IoC関係のグラフベースのクエリは、従来の手法に比べて、より効果的なマルウェアファミリーのクラスタリングとインfraストラクチャの発見を可能にするか？
• RQ4 大規模なOSINTコーパス全体にわたり、複数のホップにわたるIoCと脅威文書間の複雑な関係を同定する際、このシステムのスケーラビリティと効率性はどの程度か？

主な発見

• 本システムは、多様なソースからの関連するIoCとOSINT文書を統合した大規模なNeo4jグラフデータベースを正常に構築し、サイバーセキュリティ関係の意味的クエリを可能にした。
• グラフクエリにより、既知の悪意あるIoCと関連OSINT文書との間で意味のある関係が明らかになり、脅威ハンティングやインfraストラクチャマッピングにおける実用性が裏付けられた。
• 同じリソースファイル（例：同一のOriginalFilenameおよび埋め込みリソース）を持つマルウェアサンプルが、異なるハッシュ値であっても、類縁であると特定された。これは、共通の開発元を示している可能性がある。
• 大規模なグラフ拡張（例：QakbotのIP接続）の可視化では、わずか数ステップの分離でも、非常に接続度の高いサブグラフが生成されることが明らかになった。これは、グラフベースの探索の価値を強調している。
• CTCおよび言語検出のメタデータ統合により、英語圏でサイバーセキュリティ関連の文書に絞ったクエリの正確性が著しく向上した。
• 本システムは、関連するマルウェアやインfraストラクチャのクラスタを特定する点でスケーラビリティと実用性を示し、効果的なマルウェアファミリークラスタリングおよび脆弱性分析を支援した。