[論文レビュー] ThreatKG: An AI-Powered System for Automated Open-Source Cyber Threat Intelligence Gathering and Management

Peng Gao, Xiaoyuan Liu+4 more|arXiv (Cornell University)|Dec 20, 2022

Terrorism, Counterterrorism, and Political Violence被引用数 9

ひとこと要約

ThreatKG は、階層的オントロジーとディープラーニングを用いて、非構造化されたオープンソースサイバーセキュリティ脅威インテリジェンス（OSCTI）レポートから高精度なサイバーセキュリティ脅威知識を自動で収集・抽出・構造化する AI ベースのシステムです。IOCs、脅威アクター、TTPs、および意味的関係をカバーするスケーラブルで継続的に更新される脅威知識グラフを構築し、従来の IOCs 僅在过渡期のアプローチに比べ、脅威の文脈認識を著しく向上させます。

ABSTRACT

Open-source cyber threat intelligence (OSCTI) has become essential for keeping up with the rapidly changing threat landscape. However, current OSCTI gathering and management solutions mainly focus on structured Indicators of Compromise (IOC) feeds, which are low-level and isolated, providing only a narrow view of potential threats. Meanwhile, the extensive and interconnected knowledge found in the unstructured text of numerous OSCTI reports (e.g., security articles, threat reports) available publicly is still largely underexplored. To bridge the gap, we propose ThreatKG, an automated system for OSCTI gathering and management. ThreatKG efficiently collects a large number of OSCTI reports from multiple sources, leverages specialized AI-based techniques to extract high-quality knowledge about various threat entities and their relationships, and constructs and continuously updates a threat knowledge graph by integrating new OSCTI data. ThreatKG features a modular and extensible design, allowing for the addition of components to accommodate diverse OSCTI report structures and knowledge types. Our extensive evaluations demonstrate ThreatKG's practical effectiveness in enhancing threat knowledge gathering and management.

研究の動機と目的

• 非構造化された OSCTI レポートに含まれる脅威アクター、TTPs、IOCs 関係などの豊富な文脈的エンティティを含む包括的な脅威知識を自動で収集するためのシステムの不足に対処する。
• レポート形式の多様性、自然言語のニュアンス、および大規模なアノテート済みトレーニングコーパスの欠如による、高精度な脅威知識抽出の課題を克服する。
• 新しいレポートの受信と知識ベースの即時更新により、継続的でスケーラブルかつ拡張可能な脅威知識グラフの構築を可能にする。
• 既存の CTI 標準およびプラットフォームと統合可能な、統一的で構造化された脅威知識表現を提供する。

提案手法

• IOCs、脅威アクター、TTPs などの多様な脅威知識エンティティと、'発動する'、'使用する' などの意味的関係をモデル化するための階層的オントロジーを設計する。
• セキュリティ固有のトークン化と文法的ニュアンスに対応した特別な処理を含む、非構造化テキストからのエンティティおよび関係抽出にディープラーニングベースのパイプラインを実装する。
• 自動的なレポート収集、知識抽出、グラフ構築、永続化、段階的更新をサポートするスケーラブルで拡張可能なシステムアーキテクチャを構築する。
• レポート形式の多様性に対応し、広告やプロモーションなどの非脅威コンテンツをフィルタリングするため、複数の NLP および ML 技術を統合する。
• 作成された脅威知識グラフを STIX や OpenIOC などの標準 CTI 形式に変換し、既存のプラットフォームとの相互運用性を実現する。
• 脅威アナリストが脅威関係を照会・ナビゲートできる GUI を通じた、知識グラフのインタラクティブな探索を可能にする。

実験結果

リサーチクエスチョン

• RQ1 多様なフォーマットと複雑な言語を有する非構造化 OSCTI レポートから、IOCs を超える高精度で多層的な脅威知識（脅威アクター、TTPs、関係など）を自動で抽出する方法は何か？
• RQ2 ストリーミング形式の OSCTI レポートから、大規模な脅威知識グラフをスケーラブルに、継続的かつ拡張可能に構築・更新するためのシステムアーキテクチャは何か？
• RQ3 階層的オントロジーとディープラーニングパイプラインは、従来の IOCs 專用または単一レポート抽出手法に比べ、脅威知識抽出の正確性とカバー範囲をどの程度向上できるか？
• RQ4 構築された脅威知識グラフは、従来の IOCs フィードに比べ、包括的な脅威シナリオ再構築および防御能力の強化においてどの程度効果的に機能するか？

主な発見

• ThreatKG は、多様な OSCTI レポートフォーマットにおいて、IOCs、脅威アクター、TTPs、意味的関係を含む幅広い脅威エンティティを高精度で抽出できた。
• システムは、継続的に新しい脅威レポートを受信し、最新で永続的な脅威知識グラフに統合することで、スケーラビリティと拡張性を示した。
• 評価結果から、ThreatKG は、接続された知識を通じて完全で複数ステップにわたる脅威シナリオを捉えることで、従来の IOCs 専用システムを上回ることを示した。
• 攻撃者の行動パターンをモデル化することで、シグネチャの変更に対しても耐性を持つ、より強固な脅威検知・対応が可能になった。
• 抽出された知識を STIX などの標準フォーマットに変換できる能力により、AlienVault OTX や OpenCTI などの既存の CTI プラットフォームとのシームレスな統合が可能になった。
• GUI を介した知識グラフの探索により、複雑な脅威関係のインタラクティブな照会と可視化が可能になり、アナリストの生産性が向上した。