[論文レビュー] Cyber-All-Intel: An AI for Security related Threat Intelligence

Sudip Mittal, Anupam Joshi+1 more|arXiv (Cornell University)|May 7, 2019

Advanced Malware Detection Techniques被引用数 27

ひとこと要約

Cyber-All-Intel は、知識グラフとニューラル埋め込みを組み合わせたハイブリッド型ベクトル化知識グラフ（VKG）構造を用いて、多様な非構造的ソースからサイバーセキュリティ脅威インテリジェンスを抽出・表現・分析するAI駆動型システムである。検索精度（MAP 0.80）において、単独のベクトルモデルや知識グラフを上回り、セキュリティアナリストのためのプロアクティブなアラート発行および複雑なクエリ処理を可能にする。

ABSTRACT

Keeping up with threat intelligence is a must for a security analyst today. There is a volume of information present in `the wild' that affects an organization. We need to develop an artificial intelligence system that scours the intelligence sources, to keep the analyst updated about various threats that pose a risk to her organization. A security analyst who is better `tapped in' can be more effective. In this paper we present, Cyber-All-Intel an artificial intelligence system to aid a security analyst. It is a system for knowledge extraction, representation and analytics in an end-to-end pipeline grounded in the cybersecurity informatics domain. It uses multiple knowledge representations like, vector spaces and knowledge graphs in a 'VKG structure' to store incoming intelligence. The system also uses neural network models to pro-actively improve its knowledge. We have also created a query engine and an alert system that can be used by an analyst to find actionable cybersecurity insights.

研究の動機と目的

• ブログ、ソーシャルメディア、ダークウェブフォーラムなどのOSINTソースに散在する、断片的かつ急速に変化する脅威インテリジェンスの課題に対処すること。
• 継続的にインプットされ、抽出され、統一的かつ分析可能な形で表現されるサイバーセキュリティ知識を提供するエンドツーエンドのAIシステムの開発。
• 組織のシステムプロファイルに基づいた複雑なクエリ処理とプロアクティブなアラート発行を可能にすることで、脅威検出およびアナリストの意思決定を向上させること。
• ニューラル埋め込みと構造的知識グラフの間で双方向の学習ループを構築し、精度とカバレッジを向上させること。
• 実際の脅威データを用いて、知識取得、クエリ処理、アラートの関連性の面でシステムのパフォーマンスを評価すること。

提案手法

• NVD、ダークウェブマーケット、ブログ、ソーシャルメディアなど、OSINTソースからの非構造的サイバーセキュリティテキストをシステムがインプットする。
• 自然言語処理技術を用いてエンティティと関係を抽出し、明示的な知識グラフと分散型ベクトル埋め込みを統合したベクトル化知識グラフ（VKG）を構築する。
• VKG構造には、埋め込みに配慮した関係を追加したベースオントロジーが含まれており、記号的表現と分散表現の両方を統合的に推論可能にする。
• ニューラルネットワークを用いて、関係予測による知識グラフの改善と、文脈モデリングによるベクトル埋め込みの反復的向上を同時に行う。
• 知識グラフ部品を用いて、'MySQLにおけるDoSと類似する脆弱性を一覧表示する'などの複雑で宣言的クエリ（例：'list vulnerabilities similar to denial of service in MySQL'）をサポートするクエリエンジンを提供する。
• アラート推薦システムは、到着した脅威を組織固有のシステムプロファイルおよび既知の製品のベクトル近傍と照合することで、組織に特化したアラートを生成する。

実験結果

リサーチクエスチョン

• RQ1 多様なOSINTソースから得られる非構造的脅威インテリジェンスを、統一的かつ分析可能な形で効果的に抽出・表現することは可能か？
• RQ2 ベクトル埋め込みと記号的知識グラフを組み合わせることで、単独のアプローチに比べて、情報取得および推論性能がどの程度向上するか？
• RQ3 ハイブリッド型VKG構造は、セキュリティアナリストのための複雑かつ実行可能なクエリ処理とリアルタイムアラート発行を可能にするか？
• RQ4 埋め込みと知識グラフの間で双方向に学習を実施することで、システムの精度とカバレッジが時間経過とともにどのように向上するか？
• RQ5 実際の脅威検出シナリオにおいて、システムが生成するアラートはどの程度実用的か？

主な発見

• VKG検索では平均平均精度（MAP）が 0.80 を達成し、単独のベクトルモデル（MAP 0.69）や知識グラフ（MAP 0.43）を著しく上回った。
• 47/56の類似性グループにおいて、ベクトル埋め込みが知識グラフを上回った。特に攻撃、製品、脆弱性の表現において優れた性能を示した。
• 人間のアノテーターによる評価では、自動抽出された知識グラフの三元組のうち83%が正しく、9%が部分的に正しい、8%が誤りであった。
• ユーザースタディでは、55件のシステム生成アラートのうち43件が有用と評価され、9件がやや有用、わずか3件のみが無用とされた。これは高い実用的関連性を示している。
• 共有ライブラリ依存関係やDBpediaへのリンクを知識に統合することで、アラートの正確性と文脈的関連性が向上した。
• ニューラル埋め込みと知識グラフの間で双方向のトレーニングループを構築することで、埋め込みの品質および記号的関係の完全性の両方が向上した。