[論文レビュー] When LLMs Meet Cybersecurity: A Systematic Literature Review

Jie Zhang, H. Bu+8 more|arXiv (Cornell University)|May 6, 2024

Cybercrime and Law Enforcement Studies被引用数 10

ひとこと要約

この論文は、大規模言語モデル（LLM）がサイバーセキュリティでどのように構築され、適用されるかを系統的にレビューし、25のLLMと10以上のタスクにわたる180件以上の研究を分析し、課題と将来の方向性を概説します。

ABSTRACT

The rapid development of large language models (LLMs) has opened new avenues across various fields, including cybersecurity, which faces an evolving threat landscape and demand for innovative technologies. Despite initial explorations into the application of LLMs in cybersecurity, there is a lack of a comprehensive overview of this research area. This paper addresses this gap by providing a systematic literature review, covering the analysis of over 300 works, encompassing 25 LLMs and more than 10 downstream scenarios. Our comprehensive overview addresses three key research questions: the construction of cybersecurity-oriented LLMs, the application of LLMs to various cybersecurity tasks, the challenges and further research in this area. This study aims to shed light on the extensive potential of LLMs in enhancing cybersecurity practices and serve as a valuable resource for applying LLMs in this field. We also maintain and regularly update a list of practical guides on LLMs for cybersecurity at https://github.com/tmylla/Awesome-LLM4Cybersecurity.

研究の動機と目的

• CPT、SFT、そして PEFT 技術を用いたサイバーセキュリティ指向のドメインLLMの構築を調査する。
• LLMが適用されるサイバーセキュリティのタスクを整理・分析する（例: 脆弱性検出、セキュアコード生成、IT運用、脅威情報など）。
• LLMのサイバーセキュリティ能力を評価するためのベースライン、評価ベンチマーク、データ資源を特定する。
• 再現性、研究の断片化、LLMの脆弱性などの課題を強調し、将来の研究の方向性を提案する。

提案手法

• 2023年以降のLLMを用いたサイバーセキュリティ分野の180件以上の論文の体系的文献レビュー。
• オープンソースとクローズドソースのLLMタイプおよびドメイン・コード志向モデルの分類。
• ドメイン適応手法の議論：継続的事前学習（CPT）と教師ありファインチューニング（SFT）、全パラメータ・ファインチューニングおよびパラメータ効率的ファインチューニング（PEFT）を含むCPTとSFTのドメイン適応手法の議論。
• CyberBench、SecEval、CyberMetric、SecQA、CyberSecEval、PythonSecurityEval、IT-operations ベンチマークなどを用いたベースモデル選択の分析。
• 脆弱性検出、セキュアコード生成、プログラム修復、バイナリ解析、IT運用など、ドメイン特化ファインチューニングの取り組みの検討。
• サイバーセキュリティLLMを構築するためのモデル編集、プロンプトエンジニアリング、その他の技術の概要。

実験結果

リサーチクエスチョン

• RQ1 RQ1: サイバーセキュリティ指向のドメインLLMをどう構築するか？
• RQ2 RQ2: サイバーセキュリティにおけるLLMsの潜在的な適用範囲は何か？
• RQ3 RQ3: サイバーセキュリティにおけるLLMsの適用に関する現存の課題と今後の研究方向は何か？

主な発見

• LLMsは、CPTとSFTを用いてドメインデータで一般モデルをファインチューニングすることでサイバーセキュリティに適用でき、PEFT手法は効率的な代替手段を提供する。
• 脅威情報、脆弱性検出、コード生成、プログラム修復、バイナリ解析、IT運用、異常検知など、広範なサイバーセキュリティタスクがLLMsの恩恵を受ける。
• ベンチマークスイーツ（CyberBench、SecEval、CyberMetric、SecQA、SecureCodeEval など）はLLMsのサイバーセキュリティ能力を評価するのに役立ち、ベースモデルの選択を導く。
• ファインチューニングされたドメインLLM（例：SecureCoder、SafeCoder、Hackmentor、Owl）は、対象のサイバーセキュリティタスクで性能の向上を示す。
• 再現性の問題、研究の断片化、モデルの脆弱性、LLM指向の攻撃の潜在性など、顕著な課題があり、より強力で統合された研究へ向けた将来の方向性が示唆されている。