[論文レビュー] How Far Have We Gone in Vulnerability Detection Using Large Language Models

Zeyu Gao, Hao Wang+3 more|arXiv (Cornell University)|Nov 21, 2023

Software Engineering Research被引用数 7

ひとこと要約

この論文は VulBench を紹介し、大規模な脆弱性検出ベンチマークを提示し、CTF および実世界データセットに対して SOTA DL モデルおよび静的解析ツールと比較して 16 の LLM を評価し、LLM がいくつかのシナリオで伝統的手法を上回る一方で、複雑な実世界ケースでは遅れを取ることを示しています。

ABSTRACT

As software becomes increasingly complex and prone to vulnerabilities, automated vulnerability detection is critically important, yet challenging. Given the significant successes of large language models (LLMs) in various tasks, there is growing anticipation of their efficacy in vulnerability detection. However, a quantitative understanding of their potential in vulnerability detection is still missing. To bridge this gap, we introduce a comprehensive vulnerability benchmark VulBench. This benchmark aggregates high-quality data from a wide range of CTF (Capture-the-Flag) challenges and real-world applications, with annotations for each vulnerable function detailing the vulnerability type and its root cause. Through our experiments encompassing 16 LLMs and 6 state-of-the-art (SOTA) deep learning-based models and static analyzers, we find that several LLMs outperform traditional deep learning approaches in vulnerability detection, revealing an untapped potential in LLMs. This work contributes to the understanding and utilization of LLMs for enhanced software security.

研究の動機と目的

• ソフトウェアの複雑化が進む中で自動化された脆弱性検出を動機づける。
• 明確な脆弱性タイプと根本原因を持つ高品質な複数ソースの脆弱性データセットを作成する。
• 脆弱性検出タスクにおける 16 の LLM の性能を、最先端のディープラーニングモデルおよび静的解析器と比較評価する。
• LLM 支援脆弱性検出の将来研究を導くガイドラインとベースライン結果を提供する。

提案手法

• CTF チャレンジ、MAGMA、Devign、D2A、Big-Vul データセットを専門家の人力ラベリングと組み合わせて VulBench を構築する。
• 機能をバイナリ分類（脆弱かどうか）と多クラス分類（脆弱性タイプ）で評価する。
• 一貫した評価設定の下で 16 の LLM を三つの深層学習のベースラインと三つの静的解析器と比較する。
• 全モデルで解析可能な結果を保証するため、二-shot および five-shot プロンプトと統一的な出力テンプレートを使用する。
• 与えられた入力コンテキスト（完全なバイナリ、単一関数、デコンパイル版 vs ソース版）を分析し、情報提供の効果を調査する。

実験結果

リサーチクエスチョン

• RQ1 LLM は従来の DL モデルや静的解析器と比較してどの程度脆弱性を検出できるか？
• RQ2 入力情報の品質とタイプが LLM の脆弱性検出性能にどのように影響するか？
• RQ3 CTF/シナリオベースの脆弱性と実世界の CVE 派生脆弱性で LLM はどう機能するか？
• RQ4 LLM の脆弱性検出における限界とバイアスは何か、データセットとプロンプトをどう改善できるか？
• RQ5 VulBench は将来の LLM ベース脆弱性研究の信頼性が高くスケーラブルな評価を提供できるか？

主な発見

• LLMs、特に GPT-4 は、CTF タイプの脆弱性検出において二値および多クラスタスクで最良のベースラインを上回ることがある。
• オープンアクセスの LLM はスケーリングの利点を示すが、データセット品質と文脈長に制約され、GPT-4 が単純なデータセットで結果を主導することが多い。
• 実世界データセットでは、LLM を含むすべてのモデルが低下し保守的になりがちで、RLHF 調整モデルは特定の脆弱性タイプに偏りを示す。
• デコンパイル済みコードの制限とクローズドソースの文脈は LLM の有効性を低下させ、リッチな文脈と静的解析やファジングツールとの統合の価値を強調する。
• VulBench は自然言語の脆弱性説明を含む厳選された多源データセットを提供し、評価の妥当性と比較可能性を向上させる。