[論文レビュー] Code and Dataset for "Examining Zero-Shot Vulnerability Repair with Large Language Models"

Hammond Pearce, Benjamin Tan+3 more|arXiv (Cornell University)|Dec 3, 2021

Software Engineering Research被引用数 15

ひとこと要約

この論文は、合成バグ、手作業で作成されたバグ、および実世界のセキュリティバグに対して、オフザシェルの大規模言語モデル（LLM）であるCodex や Jurassic-1 を用いたゼロショット脆弱性修復を評価している。合成および手作業で作成されたシナリオでは100%の修復成功率を達成したが、実世界の例では機能的正しさに欠けるケースが多く見られ、微調整や強化されたプロンプト戦略なしでは信頼性の高い安全なパッチを生成することが難しいことが明らかになった。

ABSTRACT

<strong>Code and Dataset for "Examining Zero-Shot Vulnerability Repair with Large Language Models"</strong> The following Zenodo contains the resources associated with the S&amp;P accepted paper ‘Examining Zero Shot Vulnerability Repair with Large Language Models’, https://arxiv.org/abs/2112.02125 In this resource, you can find the following. - 'important_results' directory:<br> This directory is for containing the final raw results as generated by the framework, including a global CSV of all generations and an HTML file containing all of the diffs generated for the 'high-confidence' real-world scenarios.<br> - final_results.csv<br> - This contains the final results of all generated software patches.<br> - Note the nomenclature differences with the manuscript tables. These are explained in the README in the framework.<br> - Original vs LLM-Generated Vulnerability Fixes.html<br> - This contains all of the diffs for the real-world patches versus the canonical developer-provided patches. - 'framework' directory:<br> This directory contains the complete archive of the code framework and all results at the time of the paper’s submission. It contains every language model prompt, suggestions, assembled repair patch and analysis data. It contains every script used for generation and analysis. It is a large archive, and within it contains an included README describing how to understand and use it.<br> - For convenience, we include a copy of the README external to the zipped archive. - 'resources' directory: <br> This directory contains the resources used by our large associated tools, including:<br> - 'gpt2-csrc' subdirectory:<br> Everything to do with the gpt2-csrc model, including the trained files, training scripts, and training data. - 'ExtractFix' subdirectory:<br> A docker image containing all ExtractFix scenarios, even those we did not use. Provided for interest (not required for usage).

研究の動機と目的

• オフザシェルのLLMが微調整なしで脆弱性に対する安全で機能的なコードパッチを生成できるかどうかを評価すること。
• 特に文脈的ヒントやコメントの質が修復品質に与える影響を、プロンプト設計の観点から調査すること。
• 過去の実世界の例を用いて、実際の生産コードにおけるLLMの脆弱性修復の可能性と信頼性を評価すること。
• 実世界の不正なコードに対してプロンプトを提示した際、機能的に正しい修正を生成する際の課題を同定すること。
• 今後のLLMベースのプログラム修復研究を支援するため、オープンソースのデータセットと評価フレームワークを提供すること。

提案手法

• 合成バグ、手作業で作成されたバグ、および実世界の脆弱性シナリオを対象に、5つの商業的ブラックボックスLLM（例：OpenAI Codex、AI21 Jurassic-1）と、2つの追加のモデル（オープンソースおよび微調整済み）を評価した。
• 文脈情報（コメント、関数名、コード構造など）の量と質を変化させたプロンプトを設計し、それらが修復品質に与える影響を評価した。
• 一般的なCWEカテゴリ（例：バッファオーバーフロー、使用後フリー）に基づいて、合成バグと手作業で作成されたセキュリティバグを生成し、制御された環境でLLMの性能をテストした。
• 公開リポジトリから収集した実世界の脆弱性例を用いて、生産コードへの一般化能力を評価した。
• 自動テストと手動コードレビューを組み合わせ、生成されたパッチの機能的正しさとセキュリティ特性を検証した。
• 安全なコードのキュレート済みデータセットを用いて微調整した独自のGPT-2モデル（gpt2-csrc）を実装し、ゼロショット推論と比較した。

実験結果

リサーチクエスチョン

• RQ1 RQ1: オフザシェルのLLMはゼロショット設定下で、脆弱性を修正する安全で機能的なコードを生成できるか？
• RQ2 RQ2: プロンプト内の文脈情報の量と質を変化させることで、LLMの正しい修正提案能力に影響を与えるか？
• RQ3 RQ3: 実世界の脆弱性修復において、合成バグや手作業で作成された例と比較して、LLMを用いる際の主な課題は何か？
• RQ4 RQ4: 異なる脆弱性タイプにわたって、LLMが機能的に正しいかつ安全なパッチを生成する信頼性はどの程度か？

主な発見

• LLMは合成バグおよび手作業で作成された脆弱性シナリオで100%の修復成功率を達成し、制御された環境下での強いゼロショット能力を示した。
• 合成ケースでは高い成功率を示したが、実世界の歴史的脆弱性例に適用した際には、頻繁に機能的に誤りのある、または不安全なパッチが生成された。
• プロンプト工学（特に詳細なコメントや明確な意図の記述）により修復品質は向上したが、実世界のケースでは機能的欠陥が完全に解消されなかった。
• モデルは、元の脆弱性が単純で局所的であった場合ですら、新しいバグを導入したり、正しい制御フローを保持できなかったりした。
• 微調整済みモデル（例：gpt2-csrc）はゼロショット推論に比べて性能が向上しており、安全なコードで微調整することで信頼性が向上することが示唆された。
• 本研究では、LLMが脆弱性のパターンを理解できる一方で、追加の保護策やトレーニングなしでは実世界のコードに対して正しく安全な修正を生成するには不十分であることが明らかになった。