[論文レビュー] FLAG: Finding Line Anomalies (in code) with Generative AI

Baleegh Ahmad, Benjamin Tan+2 more|arXiv (Cornell University)|Jun 22, 2023

Software Engineering ResearchComputer Science被引用数 3

ひとこと要約

FLAGは、大規模言語モデル（LLM）を用いて、元のソースコードの各行とLLMが生成した代替コードを比較することで、コードの不審な挙動を検出する、言語に依存しない新規フレームワークである。類似度が低く、LLMの信頼度が低い、またはコメントとの整合性が悪い差分を特定することで、FLAGは、コードの手動レビューにおける検索範囲を12–17%にまで縮小し、C、Python、Verilogの各言語で既知のバグ121個のうち101個を検出する。

ABSTRACT

Code contains security and functional bugs. The process of identifying and localizing them is difficult and relies on human labor. In this work, we present a novel approach (FLAG) to assist human debuggers. FLAG is based on the lexical capabilities of generative AI, specifically, Large Language Models (LLMs). Here, we input a code file then extract and regenerate each line within that file for self-comparison. By comparing the original code with an LLM-generated alternative, we can flag notable differences as anomalies for further inspection, with features such as distance from comments and LLM confidence also aiding this classification. This reduces the inspection search space for the designer. Unlike other automated approaches in this area, FLAG is language-agnostic, can work on incomplete (and even non-compiling) code and requires no creation of security properties, functional tests or definition of rules. In this work, we explore the features that help LLMs in this classification and evaluate the performance of FLAG on known bugs. We use 121 benchmarks across C, Python and Verilog; with each benchmark containing a known security or functional weakness. We conduct the experiments using two state of the art LLMs in OpenAI's code-davinci-002 and gpt-3.5-turbo, but our approach may be used by other models. FLAG can identify 101 of the defects and helps reduce the search space to 12-17% of source code.

研究の動機と目的

• 開発段階で未完成またはコンパイル不能なプログラムにおいても、セキュリティ上のバグや機能的なバグを特定する課題に対処すること。
• 欠陥の可能性がある箇所の検索範囲を狭めることで、コードレビューに要する人的作業を削減すること。
• LLMとコードおよびコメントに埋め込まれた開発者の意図に依存する、言語に依存せずルールのないバグ検出手法を構築すること。
• 正式な仕様やテストケースを必要とせず、LLMが生成したコードとの比較を新たな異常検出メカニズムとして有効に活用できるかを検討すること。

提案手法

• ソースファイル内の各行について、その周辺の文脈（コメントを含む）とともに、事前に学習されたLLMに入力し、代替の行を生成する。
• Levenshtein距離やLLMの対数尤度（信頼度）を含む複数の類似度指標を用いて、元の行とLLMが生成した行を比較する。
• LLMの期待される継続と著しく乖離している場合、特にLLMの信頼度が低い（対数尤度が低い）場合や、コメントから離れている場合に、その行を異常と分類する。
• 検出率と誤検出率のバランスを取るために、2つの分類基準（C1：距離と信頼度に基づく、C2：低信頼度の提案をさらに除外する）を適用する。
• C、Python、Verilogの121のベンチマークを対象に、2つの最先端のLLM（code-davinci-002 と gpt-3.5-turbo）を用いて手法を評価する。
• コメントとの近接度、Levenshtein距離、LLMの信頼度などの特徴を活用して異常分類を向上させ、誤検出を最小限に抑えつつ、真陽性の検出率を維持することを重視する。

実験結果

リサーチクエスチョン

• RQ1 LLMが生成したコードの継続が、開発者の意図から逸脱している行を効果的に特定できるか？
• RQ2 元のコードと生成されたコードとのLevenshtein距離は、異常な行を特定するのにどの程度有効か？
• RQ3 コメントとの近接度とLLMの信頼度は、異常検出の正確性をどの程度向上させるか？
• RQ4 C、Python、Verilogといった異なるプログラミング言語およびcode-davinci-002、gpt-3.5-turboといった異なるLLMにおいて、FLAGの性能はどの程度か？
• RQ5 既知のセキュリティ上のバグや機能的バグを高い検出率で維持しつつ、手動でのコードレビューの検索範囲を縮小できるか？

主な発見

• FLAGは、2つの最先端のLLMを用いて、C、Python、Verilogのベンチマークにおいて、121個の既知のセキュリティ上のバグおよび機能的バグのうち101個を検出できた。
• 平均して、FLAGは手動でのコードレビューの検索範囲を元のソースコードの12–17%にまで縮小し、開発者の生産性を顕著に向上させた。
• gpt-3.5-turboはcode-davinci-002よりも高い検出能力を示したが、誤検出率も高かった（FPR 0.172 対 0.121）。
• 元のコードと生成されたコードとのLevenshtein距離が、異常分類において最も顕著な特徴であり、次にコメントとの近接度とLLMの信頼度が続く。
• フレームワークはCコードで最もよく機能し、Pythonで最も低かった。機能的バグはセキュリティ関連のバグよりも信頼性高く検出された。
• C2フィルタリング基準を適用することで、低信頼度のLLMの提案を除外し、誤検出を削減できたが、平均して3.75個の欠落検出が生じた。