[論文レビュー] AttacKG: Constructing Technique Knowledge Graph from Cyber Threat Intelligence Reports

Zhenyuan Li, Jun Zeng+2 more|arXiv (Cornell University)|Nov 13, 2021

Cybercrime and Law Enforcement Studies被引用数 8

ひとこと要約

AttacKG は、非構造的なサイバー脅威インテリジェンス（CTI）レポートから攻撃テクニックを自動で抽出・集約し、テクニック知識グラフ（TKG）を構築する画期的なフレームワークである。自然言語処理（NLP）を用いたエンティティおよび従属関係抽出と、MITRE ATT&CKテンプレートとのグラフアラインメントを組み合わせることで、高いF1スコア（エンティティ：0.887、従属関係：0.896、テクニック：0.789）を達成し、1,515件のレポートから28,262件の攻撃テクニックと8,393件の固有のIOCsを同定した。これは、先行する最先端手法を著しく上回る成果である。

ABSTRACT

Cyber attacks are becoming more sophisticated and diverse, making detection increasingly challenging. To combat these attacks, security practitioners actively summarize and exchange their knowledge about attacks across organizations in the form of cyber threat intelligence (CTI) reports. However, as CTI reports written in natural language texts are not structured for automatic analysis, the report usage requires tedious manual efforts of cyber threat intelligence recovery. Additionally, individual reports typically cover only a limited aspect of attack patterns (techniques) and thus are insufficient to provide a comprehensive view of attacks with multiple variants. To take advantage of threat intelligence delivered by CTI reports, we propose AttacKG to automatically extract structured attack behavior graphs from CTI reports and identify the adopted attack techniques. We then aggregate cyber threat intelligence across reports to collect different aspects of techniques and enhance attack behavior graphs into technique knowledge graphs (TKGs). In our evaluation against 1,515 real-world CTI reports from diverse intelligence sources, AttacKG effectively identifies 28,262 attack techniques with 8,393 unique Indicators of Compromises (IoCs). To further verify the accuracy of AttacKG in extracting threat intelligence, we run AttacKG on 16 manually labeled CTI reports. Empirical results show that AttacKG accurately identifies attack-relevant entities, dependencies, and techniques with F1-scores of 0.887, 0.896, and 0.789, which outperforms the state-of-the-art approaches Extractor and TTPDrill. Moreover, the unique technique-level intelligence will directly benefit downstream security tasks that rely on technique specifications, e.g., APT detection and cyber attack reconstruction.

研究の動機と目的

• 非構造的で形式的でない、機械読取不能な CTI レポートから攻撃知識を手作業で回復する課題に対処すること。
• 個々のレポートからの孤立したインサイトに起因する制限を克服し、複数レポートにわたるテクニックレベルでの脅威インテリジェンスの統合を実現すること。
• 完全な攻撃チェーンを文脈的・行動的詳細とともに捉える包括的で知識強化型の攻撃グラフ（通称：テクニック知識グラフ（TKG））を構築すること。
• ドメインフリッピングなどの回避戦術に対してより耐性のある、IOCsベースからテクニックベースへの脅威モデリングへのシフトにより、検出の強靭性を向上させること。
• APT検出や攻撃再構築といった後続のセキュリティタスクを支援するため、構造的かつ実行可能なテクニックレベルのインテリジェンスを提供すること。

提案手法

• NLP技術を用いて、CTIレポートから攻撃関連エンティティ（例：CVE、IPアドレス）およびその従属関係（例：コマンドアンドコントロール接続）を抽出するパイプラインを実装する。
• MITRE ATT&CK知識ベースに由来する実世界の攻撃手順の例を用いて、テクニックテンプレートを初期化し、基準パターンとして機能させる。
• 改訂版のグラフアラインメントアルゴリズムを用いて、ノード類似度、最小パス距離、ノード出現頻度を用い、攻撃グラフとテクニックテンプレート間のノードおよびエッジレベルのアラインメントスコアを計算する。
• アラインメントスコアを[0,1]に正規化し、しきい値と比較することで一致する部分グラフを同定し、実世界の攻撃行動を標準化されたテクニックにマッピング可能にする。
• アラインドされた攻撃グラフから新たなIOCsおよび自然言語記述を統合することで、テクニックテンプレートを動的に更新し、継続的な知識集約を可能にする。
• マルチレポート・マルチテクニック統合をサポートし、変種行動や代替攻撃パスを捉える包括的な統一TKGの構築を可能にする。

実験結果

リサーチクエスチョン

• RQ1 非構造的CTIレポートから、高い正確性と再現率を備えた構造的攻撃行動グラフを自動で抽出できるか？
• RQ2 複数レポートからの攻撃グラフが、標準化されたテクニックテンプレートとどの程度効果的にアラインメント可能か？
• RQ3 複数レポートにわたるインテリジェンスの統合は、単一レポート分析と比較して、攻撃テクニック表現の包括性および正確性をどの程度向上させるか？
• RQ4 提案手法は、エンティティ・従属関係・テクニック抽出のパフォーマンスにおいて、最先端のCTIパーサーと比較して優れているか？
• RQ5 得られたテクニック知識グラフ（TKG）は、強化された実行可能なインテリジェンスを提供することで、APT検出や攻撃再構築といった高度なセキュリティタスクを支援できるか？

主な発見

• AttacKG は、攻撃関連エンティティ抽出でF1スコア0.887、従属関係抽出で0.896を達成し、Extractor や TTPDrill などの既存手法を上回った。
• 攻撃行動を標準化されたテクニックにマッピングする能力が強く、F1スコア0.789を達成した。
• 1,515件のCTIレポートから、28,262件の固有の攻撃テクニックと8,393件の固有の脅威の兆候（IOCs）を効果的に抽出した。
• グラフアラインメントアルゴリズムは、多様な攻撃グラフをテクニックテンプレートに効果的にマッピングでき、複数レポートにわたる変種行動や代替攻撃パスの集約を可能にした。
• テクニックテンプレートの動的更新により、IOCsおよび記述的メタデータの継続的強化が可能となり、知識ベースの質が時間経過とともに向上した。
• 得られたテクニック知識グラフ（TKG）は、包括的かつ因果関係を捉えた攻撃チェーンの表現を提供し、高度な脅威検出および応答ワークフローを支援した。