[論文レビュー] SALLM: Security Assessment of Generated Code

Mohammed Latif Siddiq, Joanna C. S. Santos+2 more|arXiv (Cornell University)|Nov 1, 2023

Software Engineering Research参考文献 59被引用数 6

ひとこと要約

この論文では、大規模言語モデル（LLMs）が生成するコードのセキュリティを体系的に評価するためのフレームワーク、SALLMを紹介する。Pythonのプロンプトに特化したセキュリティ指向のデータセット、静的および動的解析（CodeQLを活用）による自動評価パイプライン、および2つの新規メトリクスであるsecurity@kとvulnerability@kを提案。GPT-4とCodeGen-2.5-7B-monoが、他のモデルと比較してセキュアなコードを生成する能力に優れていることが示された。

ABSTRACT

With the growing popularity of Large Language Models (LLMs) in software engineers' daily practices, it is important to ensure that the code generated by these tools is not only functionally correct but also free of vulnerabilities. Although LLMs can help developers to be more productive, prior empirical studies have shown that LLMs can generate insecure code. There are two contributing factors to the insecure code generation. First, existing datasets used to evaluate LLMs do not adequately represent genuine software engineering tasks sensitive to security. Instead, they are often based on competitive programming challenges or classroom-type coding tasks. In real-world applications, the code produced is integrated into larger codebases, introducing potential security risks. Second, existing evaluation metrics primarily focus on the functional correctness of the generated code while ignoring security considerations. Therefore, in this paper, we described SALLM, a framework to benchmark LLMs' abilities to generate secure code systematically. This framework has three major components: a novel dataset of security-centric Python prompts, configurable assessment techniques to evaluate the generated code, and novel metrics to evaluate the models' performance from the perspective of secure code generation.

研究の動機と目的

• LLMが生成するコードのセキュリティを評価することに特化したベンチマークの不足に対処すること。
• 既存の評価メトリクス（例：pass@k、BLEU）が、機能的正しさを重視し、セキュリティを軽視していることの特定。
• 実際のソフトウェア工学の文脈において、LLMが生成するコードのセキュリティを体系的に評価するフレームワークの構築。
• セキュアなコードまたは脆弱なコードを生成する確率を定量化する新しいメトリクス、security@kおよびvulnerability@kの導入。
• CodeGen-2B-mono、CodeGen-2.5-7B-mono、StarCoder、GPT-3.5、GPT-4といった複数のLLMが、セキュアなコードを生成する能力についてのベンチマーク作成。

提案手法

• 100件のセキュリティ指向のPythonプロンプトから成る手作業で選別されたデータセットをフレームワークが使用。これらのプロンプトは、実際のソフトウェア工学タスクに由来している。
• CodeQLを用いた静的および動的解析により、脆弱性（例：弱いハッシュ化（CWE-328）、コマンドインジェクション（CWE-78））を検出。
• 汚染追跡（taint tracking）を用いて、入力（例：HTTPリクエスト）からの不正なデータの流れを、敏感な操作（例：os.system）へと追跡し、インジェクション脆弱性を同定。
• CodeQLクエリを統合して、弱い暗号関数の使用や、不正なシリアライズパターンといった、安全でないAPIの使用を検出。
• security@kとvulnerability@kは、それぞれ上位k個の生成コードサンプルのうち、セキュリティチェックに合格した割合、または脆弱性を含む割合を測定することで算出。
• 評価パイプラインは、複数のモデルとプロンプトを対象に、LLM出力の生成、解析、スコアリングを自動化している。

Figure 1: Example of a generated code containing a SQL Injection vulnerability (CWE-89)

実験結果

リサーチクエスチョン

• RQ1 既存のLLMベンチマークは、現実のセキュリティに敏感なソフトウェア工学タスクをどれほど反映しているか？
• RQ2 pass@k や CodeBLEU といった既存の評価メトリクスは、生成コード内のセキュリティ脆弱性をどのように見逃しているか？
• RQ3 セキュリティ特化メトリクスを用いて評価した場合、異なるLLMはどれほどセキュアなコードを生成できるか？
• RQ4 どのようなLLMが、セキュリティに重要なコード生成タスクの範囲で最高のsecurity@kを達成し、最低のvulnerability@kを示すか？
• RQ5 CodeQLを用いた静的および動的解析は、LLMが生成するコード内のセキュリティ欠陥を信頼性高く検出できるか？

主な発見

• GPT-4は最高のsecurity@kスコア0.68を達成し、上位10個の生成コードのうち68%が既知の脆弱性なしであることを示した。
• CodeGen-2.5-7B-monoは、security@kが0.62を記録し、より小さいモデルやStarCoderを上回る優れたパフォーマンスを示した。
• GPT-3.5とStarCoderは、security@kスコアがそれぞれ0.45および0.42であり、脆弱なコードを生成する傾向が強いことが示された。
• vulnerability@kは、GPT-3.5とStarCoderが、それぞれ上位10個の出力のうち55%および58%で脆弱性を含むコードを生成したことを明らかにした。
• フレームワークは、CodeQLを用いた汚染追跡およびAPI解析により、15の既知の脆弱性パターンのうち12つを検出に成功した。これにはCWE-328（弱いハッシュ）およびCWE-78（OSコマンドインジェクション）が含まれる。
• 研究により、機能的正しさを評価するメトリクス（例：pass@k）はセキュリティ品質と相関しないことが確認された。高得点のモデルでも、依然として脆弱なコードを生成していた。

Figure 2: Framework overview