[論文レビュー] VulLibGen: Generating Names of Vulnerability-Affected Packages via a Large Language Model

Tianyu Chen, Lin Li+6 more|arXiv (Cornell University)|Aug 9, 2023

Web Application Security VulnerabilitiesComputer Science被引用数 3

ひとこと要約

VulLibGen は、脆弱性記述のみから正確な脆弱なサードパーティライブラリのリストを自動生成する最初の生成的アプローチである。大規模言語モデル（LLM）を微調整して使用し、ライブラリの機能に関する事前知識を活用するとともに、入力増強と後処理を施すことで、F1 スコア 0.626 を達成。これは、最先端手法の平均で 10% 以上上回り、ゼロショットライブラリ検出の精度を 39% 向上させた。

ABSTRACT

Security practitioners maintain vulnerability reports (e.g., GitHub Advisory) to help developers mitigate security risks. An important task for these databases is automatically extracting structured information mentioned in the report, e.g., the affected software packages, to accelerate the defense of the vulnerability ecosystem. However, it is challenging for existing work on affected package identification to achieve a high accuracy. One reason is that all existing work focuses on relatively smaller models, thus they cannot harness the knowledge and semantic capabilities of large language models. To address this limitation, we propose VulLibGen, the first method to use LLM for affected package identification. In contrast to existing work, VulLibGen proposes the novel idea to directly generate the affected package. To improve the accuracy, VulLibGen employs supervised fine-tuning (SFT), retrieval augmented generation (RAG) and a local search algorithm. The local search algorithm is a novel postprocessing algorithm we introduce for reducing the hallucination of the generated packages. Our evaluation results show that VulLibGen has an average accuracy of 0.806 for identifying vulnerable packages in the four most popular ecosystems in GitHub Advisory (Java, JS, Python, Go) while the best average accuracy in previous work is 0.721. Additionally, VulLibGen has high value to security practice: we submitted 60 pairs to GitHub Advisory (covers four ecosystems). 34 of them have been accepted and merged and 20 are pending approval. Our code and dataset can be found in the attachments.

研究の動機と目的

• NVD 脆弱性レポートの 53.3% が影響を受けるライブラリの記載を一切含まず、含まれるリストの 59.82% が不完全または誤りであるという深刻な問題に対処する。
• 既存の NER や XML、エンティティリンク手法が、大規模なライブラリリポジトリにスケーリングする際、誤検出や見逃し、高い計算コストの問題を抱えることへの制限を克服する。
• LLM がライブラリの意味論的・構造的知識を事前学習していることを利用し、トレーニング中に登場しなかったゼロショットライブラリを含め、正確に脆弱なライブラリを特定することを可能にする。
• ライブラリ名辞書や外部マッチングに依存することを減らし、生成的 LLM を用いて脆弱性記述から直接ライブラリ名を予測することで、計算コストを低減する。
• 後処理による hallucination の是正と、入力増強によるゼロショット検出の向上を通じて、ライブラリ脆弱性特定の信頼性と正確性を向上させる。

提案手法

• LLaMA モデルをマーベンコーパス上で教師なしで微調整し、ライブラリ記述をその対応するライブラリ名にマッピングできるようにすることで、ライブラリの識別に関する事前知識を活性化する。
• ラベル付き脆弱性データセットを用いた教師あり微調整を実施。入力は脆弱性記述、出力は正解の影響を受けるライブラリのリストであり、正確な名前リストの生成を可能にする。
• 脆弱性記述を再表現または同義語に置き換えることで入力増強を実施し、多様な表現にさらされることで、トレーニングデータに存在しないゼロショットライブラリへの一般化能力を向上させる。
• キュレートされたライブラリ名辞書と文法的・意味的検証を用いて、LLM が生成したライブラリリストをフィルタリング・是正する後処理モジュールを導入し、hallucination を低減する。
• LLM の文脈内推論能力を活用し、脆弱性の特徴（例：メモリ破壊、認証バイパス）とライブラリの機能、既知の脆弱性を関連付ける。
• 2段階のトレーニングパイプラインを採用：まず、ライブラリ記述に対して教師なし事前学習でライブラリの識別を学習し、次に脆弱性記述からライブラリリストへのペアに対して教師あり微調整を実施することで、脆弱性固有の生成能力を学習する。

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルは、ライブラリ名辞書や外部マッチングを一切必要とせず、脆弱性記述のみから正確で完全かつ正しい脆弱なサードパーティライブラリのリストを生成できるか？
• RQ2 提案された入力増強技術は、トレーニング時に登場しなかったゼロショット脆弱ライブラリの同定にどの程度効果的か？
• RQ3 後処理技術は、LLM が生成するライブラリリストにおける hallucination をどの程度低減させ、正確性を向上させるか？
• RQ4 実世界のデータセット上で、VulLibGen は最先端手法（例：LightXML、Chronos、VulLibMiner）と比較して、脆弱なライブラリの同定性能でどの程度優れているか？
• RQ5 ライブラリに関する事前知識を持つ LLM は、従来の NLP やディープラーニングモデルに比べ、脆弱性ライブラリ同定タスクで優れた性能を示せるか？

主な発見

• VulLibGen は、脆弱なライブラリ同定において平均 F1 スコア 0.626 を達成。最先端手法（LightXML、Chronos、VulLibMiner）の平均 0.561 を上回った。
• 後処理技術により、F1@1 が平均で 9.3% 向上し、LLM の hallucination に起因する誤検出が顕著に低減された。
• 入力増強技術により、ゼロショット脆弱ライブラリの同定において F1@1 の性能が平均で 39% 向上し、未学習のライブラリへの一般化能力が顕著に向上した。
• TF-IDF フィルタリングやライブラリ名辞書に依存せず、計算コストの高いエンティティリンク手法に比べて、計算負荷を低減した。
• 複雑なライブラリ相互作用や微細な機能的差異を含む多様な脆弱性タイプに対して、モデルの性能は安定しており、高い耐性を示した。
• 2段階の微調整アプローチ（まずライブラリ記述での教師なし事前学習、次に脆弱性ペアへの教師あり微調整）により、LLM はライブラリの識別と脆弱性固有の関連性を効果的に学習できた。