[論文レビュー] A RAG-Based Question-Answering Solution for Cyber-Attack Investigation and Attribution

Sampath Rajapaksha, Ruby Rani+1 more|arXiv (Cornell University)|Aug 12, 2024

Topic Modeling被引用数 4

ひとこと要約

本論文は、攻撃者特定を目的とした、最初のリtrieval-Augmented Generation (RAG) ベースの質疑応答システムを提示する。攻撃者特定知識ベースとMistralベースのLLMを活用し、正確で出典付きの回答を提供する。 hallucination を低減し、根拠に基づいた回答により、GPT-3.5 や GPT-4o よりも信頼性を向上させている。

ABSTRACT

In the constantly evolving field of cybersecurity, it is imperative for analysts to stay abreast of the latest attack trends and pertinent information that aids in the investigation and attribution of cyber-attacks. In this work, we introduce the first question-answering (QA) model and its application that provides information to the cybersecurity experts about cyber-attacks investigations and attribution. Our QA model is based on Retrieval Augmented Generation (RAG) techniques together with a Large Language Model (LLM) and provides answers to the users' queries based on either our knowledge base (KB) that contains curated information about cyber-attacks investigations and attribution or on outside resources provided by the users. We have tested and evaluated our QA model with various types of questions, including KB-based, metadata-based, specific documents from the KB, and external sources-based questions. We compared the answers for KB-based questions with those from OpenAI's GPT-3.5 and the latest GPT-4o LLMs. Our proposed QA model outperforms OpenAI's GPT models by providing the source of the answers and overcoming the hallucination limitations of the GPT models, which is critical for cyber-attack investigation and attribution. Additionally, our analysis showed that when the RAG QA model is given few-shot examples rather than zero-shot instructions, it generates better answers compared to cases where no examples are supplied in addition to the query.

研究の動機と目的

• 構造的で標準化されていない脅威インテリジェンスレポートのため、人的で時間のかかる攻撃者特定の課題に対処すること。
• キュレートされた知識ベースに根拠を置くことで、LLMのhallucinationと古くなった知識の問題を軽減し、サイバー脅威分析における信頼性を高めること。
• サイバーセキュリティアナリストが検証可能な出典に基づいて攻撃を調査・特定できる、信頼性が高く透明性のあるQAシステムを構築すること。
• 複数のメトリクスを用いて、専門的な攻撃者特定に関するRAGベースのQAのパフォーマンスを評価すること。
• 攻撃者特定の文脈におけるfew-shot promptingの回答品質への影響を調査すること。

提案手法

• 本システムは、MistralベースのLLMと、攻撃者特定および調査レポートを含むキュレート済みの知識ベースを備えたRAGアーキテクチャを採用している。
• 検索は、密度ベクトル埋め込みと意味的類似度マッチングを用いて、知識ベース内の関連するコンテキストチャンクを抽出する。
• LLMは取得したコンテキストに基づいて回答を生成し、出典の明示とhallucinationの低減を実現する。
• モデルは3種類の入力タイプをサポートする：知識ベースクエリ、プライベートリポジトリクエリ、外部リソースからの検索によるウェブベースクエリ。
• 回答の正確性と関連性を向上させるためにfew-shot promptingを適用し、例示クエリと正解回答を含むプロンプトを提供する。
• 評価にはカスタムQAペアデータセットと、忠実性、回答関連性、コンテキスト精度、正答率といったメトリクスを用いる。

実験結果

リサーチクエスチョン

• RQ1 RAGベースのQAシステムは、GPT-3.5 や GPT-4o といった汎用LLMよりも、攻撃者特定の文脈で正確で出典付きの回答を提供する点で優れているか？
• RQ2 few-shot promptingは、攻撃者特定の文脈における回答の質と信頼性にどのような影響を及えるか？
• RQ3 RAGモデルは、ファインチューニング済みまたはゼロショットLLMと比較して、どれほどhallucinationを低減しているか？
• RQ4 複数の類似コンテキストが存在する状況で、システムは関連するコンテキストをどれほど効果的に検索できるか？
• RQ5 検索精度と応答遅延の観点から、現在のRAGモデルの限界は何か？

主な発見

• RAGベースのQAモデルは、ゼロショット設定で85%、few-shot設定で91%の回答関連性を達成し、指示に従う能力が強く、例示により回答品質が向上していることが示された。
• GPT-3.5 や GPT-4o よりも、出典の明示と著しくhallucinationの低減により優れた性能を発揮した。特に分布外クエリでは顕著であった。
• GPT-3.5 は顕著なhallucinationを示し、知識カットオフ時点でそのことを認識していたにもかかわらず、CVE-2023-34362に関する誤った情報を生成した。
• GPT-4o は正確な回答を提供したが、出典の明示に欠け、APIのレート制限により実用的利便性が制限された。
• 誤ったコンテキストの検索により、一部のケースで不正確な回答が生じた。特に、『Sharpshooter』キャンペーンの背後にいる攻撃者を、検索バイアスの影響で誤って特定した。
• モデルは正解に非常に高い類似度の回答を生成しており、回答生成の一貫性と信頼性が裏付けられた。