[論文レビュー] SEvenLLM: Benchmarking, Eliciting, and Enhancing Abilities of Large Language Models in Cyber Threat Intelligence

Hangyuan Ji, Jian Yang+10 more|arXiv (Cornell University)|May 6, 2024

Topic Modeling被引用数 4

ひとこと要約

本稿では、LLMを用いたタスク選択と人的精査を経て作成された高品質な二か国語（英語／中国語）のインstructデータセット、SEvenLLM-Instructを活用し、サイバー脅威インテリジェンス（CTI）分野における大規模言語モデル（LLM）のベンチマーキング、誘導、強化を実現するフレームワーク、SEvenLLMを紹介する。28のマルチタスク目的で微調整されたSEvenLLMは、GPT-3.5などの一般向けLLMよりも脅威分析および対応において優れた性能を示し、体系的に整備されたSEvenLLM-Benchベンチマークによる検証を通じて、実世界のサイバーセキュリティインシデントの理解と対応において優れた性能を発揮している。

ABSTRACT

To address the increasing complexity and frequency of cybersecurity incidents emphasized by the recent cybersecurity threat reports with over 10 billion instances, cyber threat intelligence (CTI) plays a critical role in the modern cybersecurity landscape by offering the insights required to understand and combat the constantly evolving nature of cyber threats. Inspired by the powerful capability of large language models (LLMs) in handling complex tasks, in this paper, we introduce a framework to benchmark, elicit, and improve cybersecurity incident analysis and response abilities in LLMs for Security Events (SEvenLLM). Specifically, we create a high-quality bilingual instruction corpus by crawling cybersecurity raw text from cybersecurity websites to overcome the lack of effective data for information extraction. Then, we design a pipeline to auto-select tasks from the tasks pool and convert the raw text into supervised corpora comprised of question and response. The instruction dataset SEvenLLM-Instruct is used to train cybersecurity LLMs with the multi-task learning objective (27 well-designed tasks) for augmenting the analysis of cybersecurity events. Extensive experiments in our curated benchmark (SEvenLLM-bench) demonstrate that SEvenLLM performs more sophisticated threat analysis and fortifies defenses against the evolving landscape of cyber threats.

研究の動機と目的

• LLMのトレーニングにおける高品質でタスク特化型のデータセットの不足に取り組む。
• 分野特化型のインストラクションチューニングを通じて、LLMのサイバーセキュリティインシデント分析および対応能力を向上させる。
• LLMのCTIタスクにおける性能を包括的に評価するための評価ベンチマークを構築し、一般向けとセキュリティ特化型の能力のギャップを埋める。
• 微調整されたオープンソースLLMを活用することで、人的専門知識に依存することを減らし、自動的かつ正確で専門的な脅威分析を実現する。
• LLMと専門家の検証を組み合わせたパイプラインを用いて、生のサイバーセキュリティレポートからインストラクションデータセットを構築するスケーラブルなプロセスを確立する。

提案手法

• 公開ソースから生のサイバーセキュリティインシデントレポートをクロールし、英語／中国語の二か国語のサイバーセキュリティテキストコーパスを構築した。
• GPT-4を用いて生のテキストから候補タスクを生成し、MITRE ATT&CKおよびOASIS CTI TC基準に基づき、人間の専門家による精査を経てタスクプールを構成した。
• Select-Instructパイプラインを実装し、プール内の最も関連性の高いタスクを自動的に選択し、教師あり微調整用の質問・回答ペアを生成した。
• 28の洗練されたマルチタスクインストラクション例を含む、SEvenLLM-Instructデータセットを構築した。
• SEvenLLM-Instructを用いて、ドメイン特化型LLMのトレーニングを目的とした、マルチタスク学習の目的関数に基づき、オープンソースLLM（LlamaおよびQwen）を微調整した。
• 複数選択およびクエリ・アンサー形式の質問を含む、SEvenLLM-Bench評価ベンチマークを構築し、サイバーセキュリティ文脈におけるモデル性能を包括的に評価した。

実験結果

リサーチクエスチョン

• RQ1 自己教師ありでLLMを支援するデータ構築パイプラインは、サイバー脅威インテリジェンス分野において、高品質でタスク特化型のインストラクションデータを効果的に生成できるか？
• RQ2 洗練されたインストラクションデータセット上でマルチタスク微調整を実施した場合、一般向けLLMと比較してLLMのサイバーセキュリティインシデント分析および対応能力はどの程度向上するか？
• RQ3 実世界のCTIタスクにおいて、SEvenLLMはGPT-3.5などの強力なベースラインと比較して、回答の包括性および専門性の観点で優れた性能を示すか？
• RQ4 SEvenLLM-Benchのようなベンチマークは、サイバーセキュリティインテリジェンスシナリオにおけるLLMの能力を効果的に評価し、差別化できるか？
• RQ5 英語／中国語の二か国語データのキュレートが、CTIに特化したLLMの一般化能力および実用的有用性にどのような影響を与えるか？

主な発見

• SEvenLLM-Instructデータセットで微調整されたSEvenLLMは、パrameter数が少ないにもかかわらず、GPT-3.5よりも包括的かつ専門的な脅威分析の回答を生成する。
• SEvenLLM-Benchベンチマークは、多様なCTIタスクにおいてLLMを効果的に評価し、標準化され包括的な評価フレームワークを提供した。
• 28の洗練されたタスクでマルチタスク学習を実施したことで、サイバーセキュリティインシデント文脈におけるLLMの分析および対応能力が顕著に向上した。
• Select-Instructパイプラインは、生のサイバーセキュリティレポートから高品質で人的検証済みのインストラクションデータを自動的に作成するのに効果的であり、関連性と実用性を確保した。
• 英語／中国語の二か国語インストラクションデータセットは、多言語環境におけるモデルの適用性を向上させたが、多言語拡張は今後の課題である。
• 本フレームワークは、脅威インテリジェンスタスクにおいて優れた一般化能力と頑健性を示し、インシデント分析における専門的労働力への依存を低減した。