[論文レビュー] LOCALINTEL: Generating Organizational Threat Intelligence from Global and Local Cyber Knowledge

Shaswata Mitra, Subash Neupane+5 more|arXiv (Cornell University)|Jan 18, 2024

Information and Cyber Security被引用数 6

ひとこと要約

LocalIntel は、グローバル CTI と組織のローカル知識を組み合わせて、組織固有の脅威情報完成を生成する、リトリーバル強化生成システムです。RAGベースのQAアプローチで定性的および定量的有効性を示します。

ABSTRACT

Security Operations Center (SoC) analysts gather threat reports from openly accessible global threat repositories and tailor the information to their organization's needs, such as developing threat intelligence and security policies. They also depend on organizational internal repositories, which act as private local knowledge database. These local knowledge databases store credible cyber intelligence, critical operational and infrastructure details. SoCs undertake a manual labor-intensive task of utilizing these global threat repositories and local knowledge databases to create both organization-specific threat intelligence and mitigation policies. Recently, Large Language Models (LLMs) have shown the capability to process diverse knowledge sources efficiently. We leverage this ability to automate this organization-specific threat intelligence generation. We present LocalIntel, a novel automated threat intelligence contextualization framework that retrieves zero-day vulnerability reports from the global threat repositories and uses its local knowledge database to determine implications and mitigation strategies to alert and assist the SoC analyst. LocalIntel comprises two key phases: knowledge retrieval and contextualization. Quantitative and qualitative assessment has shown effectiveness in generating up to 93% accurate organizational threat intelligence with 64% inter-rater agreement.

研究の動機と目的

• 組織固有の脅威情報の文脈化の必要性を動機づけ、手動労力を減らしポリシー展開を加速する。
• グローバル CTI と組織内のローカル知識を組み合わせて文脈化された脅威情報を生成するための retrieval-augmented generation フレームワークを提案する。
• RAG 指標を用いた定性的な例と定量的評価を通じて LocalIntel の実現可能性と有効性を示す。

提案手法

• Phase-wise retrieval and generation: グローバルCTIの取得、ローカル知識の取得、次に文脈化された完成生成。
• 2つの取得経路: 公開リポジトリから関連するグローバルCTIを抽出し、私有の組織データベースから関連するローカル知識を抽出。
• ReAct対応プロンプトを備えたエージェントを使用し、検索クエリを生成し、取得と生成のツールアクションを調整。
• 意味検索を可能とするベクトルデータベース（Chroma）を用いた埋め込みベースのローカル知識インデックス作成。
• 取得したグローバルおよびローカル知識を組み合わせて文脈化された脅威情報完成を生成する、LLM主導の生成。
• 人間のグラウンドトゥルースと比較した完成の文脈的関連性を評価するための RAGAS フレームワークを用いた評価。

実験結果

リサーチクエスチョン

• RQ1 グローバルCTIとローカル知識の両方を活用して、一般的なグローバル脅威情報を特定の組織のローカル文脈に文脈化できるだろうか？
• RQ2 retrieval-augmented generation アプローチは文脈上正確で組織に関連する脅威情報完成を生み出すだろうか？
• RQ3 LocalIntel が文脈化されたCTIを生成する際の定性的および定量的な有効性はどの程度か？

主な発見

• LocalIntel は、取得したグローバルCTIとローカルの組織知識を融合させることで、文脈的に関連する完成を達成する。
• 必要に応じてローカル文脈を用いて欠落しているグローバル知識を補完できる（例: Pegasus アプリのカバレッジ）。
• 定性的な例は、G_i と L_i がどのように組み合わさって最終的な Completion C を形成するかを示す。
• 定量的に、LocalIntel は平均 RAGAS スコア 0.9535、標準偏差 0.0226 を達成し、生成された完成の文脈的関連性が高いことを示している。