[論文レビュー] Lost at C: A User Study on the Security Implications of Large Language Model Code Assistants

Gustavo Sandoval, Hammond Pearce+4 more|arXiv (Cornell University)|Aug 20, 2022

Software Engineering Research被引用数 39

ひとこと要約

この論文は、Codexを用いたAIコード提案が、Cの単一連結購買リストを実装する学生のセキュリティバグを増やすかを評価するセキュリティ重視のユーザ研究を実施した（N=58）。結果は、セキュリティへの影響は小さく、AI支援コードのバグは対照と比べて10%超過していない。

ABSTRACT

Large Language Models (LLMs) such as OpenAI Codex are increasingly being used as AI-based coding assistants. Understanding the impact of these tools on developers' code is paramount, especially as recent work showed that LLMs may suggest cybersecurity vulnerabilities. We conduct a security-driven user study (N=58) to assess code written by student programmers when assisted by LLMs. Given the potential severity of low-level bugs as well as their relative frequency in real-world projects, we tasked participants with implementing a singly-linked 'shopping list' structure in C. Our results indicate that the security impact in this setting (low-level C with pointer and array manipulations) is small: AI-assisted users produce critical security bugs at a rate no greater than 10% more than the control, indicating the use of LLMs does not introduce new security risks.

研究の動機と目的

• 実世界に近いコーディング課題においてAIコードアシスタントがセキュリティに影響を与えるかを評価することで研究の動機づけを行う。
• AI支援コードと非支援コードのセキュリティバグの発生率を評価する。
• AI支援コードタスクにおけるセキュリティバグの発生源を分析する（人間とAIの寄与を含む）。
• 再現とより広い分析のためのオープンデータを提供する。

提案手法

• CodexアクセスなしのコントロールとCodexアクセスありの支援の2群によるランダム化対照設計。
• クラウドベースのIDEはCodexとの相互作用を記録し、AI提案の受け入れを分析。
• 記憶関連のバグを負荷するため、単一連結購買リストの12個のC関数を参加者に完成させてもらう。
• CWE分類法を用いて、静的／実行時分析と手動レビューを組み合わせてセキュリティと機能性を評価。
• Autopilot条件は比較のためCodexだけでコードを完全生成（3つのCodexモデルにつき30解）。
• 統計的枠組みには、有効性の比較検定と10%の脆弱性マージンを用いた非劣性検定を含む。

実験結果

リサーチクエスチョン

• RQ1 RQ1: AIコードアシスタントは初心者ユーザーがより良い機能的コードを書くのを助けるか？
• RQ2 RQ2: AI支援ソリューションは非支援コードと比較して適切なセキュリティバグの発生率を持つか？
• RQ3 RQ3: LLM支援システムではバグはどこから発生するか（人間作成コード vs. AI提案コード）？

主な発見

• AI支援を受けたユーザーは、先行研究と一致する生産性の利点を伴う機能的なコードを作成した。
• AI支援グループのセキュリティバグは、1行あたりの発生率が対照群より10%を超えて高くはなかった。
• バグの63%は人間が書いたコードに起因し、36%はAI提案コードに存在していた。
• 本研究はCWE分類法を用いてバグを分類し、手動分析と静的および実行時チェックを組み合わせた。
• 研究のデータと素材はオープンソースとして提供されている。