[論文レビュー] SkipAnalyzer: A Tool for Static Code Analysis with Large Language Models

Mohammad Mahdi Mohajer, Reem Aleithan+5 more|arXiv (Cornell University)|Oct 27, 2023

Software Engineering Research被引用数 4

ひとこと要約

SkipAnalyzer は、ChatGPT を活用した LLM ベースのツールであり、バグの検出、誤検出のフィルタリング、構文的に正しいパッチの生成を自動化する静的コード解析を実現する。リソースリークバグの検出において最大 76.95% の正確性を達成し、正しいパッチの生成において 97.30% の成功率を示す。これは、Infer や他のベースラインツールに比べて、精度と修復正確性の両面で顕著に優れている。

ABSTRACT

We introduce SkipAnalyzer, a large language model (LLM)-powered tool for static code analysis. SkipAnalyzer has three components: 1) an LLM-based static bug detector that scans source code and reports specific types of bugs, 2) an LLM-based false-positive filter that can identify false-positive bugs in the results of static bug detectors (e.g., the result of step 1) to improve detection accuracy, and 3) an LLM-based patch generator that can generate patches for the detected bugs above. As a proof-of-concept, SkipAnalyzer is built on ChatGPT, which has exhibited outstanding performance in various software engineering tasks. To evaluate SkipAnalyzer, we focus on two types of typical and critical bugs that are targeted by static bug detection, i.e., Null Dereference and Resource Leak as subjects. We employ Infer to aid the gathering of these two bug types from 10 open-source projects. Consequently, our experiment dataset contains 222 instances of Null Dereference bugs and 46 instances of Resource Leak bugs. Our study demonstrates that SkipAnalyzer achieves remarkable performance in the mentioned static analysis tasks, including bug detection, false-positive warning removal, and bug repair. In static bug detection, SkipAnalyzer achieves accuracy values of up to 68.37% for detecting Null Dereference bugs and 76.95% for detecting Resource Leak bugs, improving the precision of the current leading bug detector, Infer, by 12.86% and 43.13%, respectively. For removing false-positive warnings, SkipAnalyzer can reach a precision of up to 93.88% for Null Dereference bugs and 63.33% for Resource Leak bugs. Additionally, SkipAnalyzer surpasses state-of-the-art false-positive warning removal tools. Furthermore, in bug repair, SkipAnalyzer can generate syntactically correct patches to fix its detected bugs with a success rate of up to 97.30%.

研究の動機と目的

• 人間の介入なしに、エンドツーエンドで動作する LLM ベースの静的コード解析ツールの開発。
• Infer のような静的バグ検出ツールが生じる高頻度の誤検出を低減し、人的な検証コストを削減すること。
• 検出、フィルタリング、修復の各コンponentに LLM を統合することで、静的解析の精度と正確性を向上させること。
• LLM がバグ検出やパッチ生成といった実世界のソフトウェア工学タスクにおいて果たす有効性を評価すること。
• LLM が精度や修復成功確率といった主要指標において、従来の静的解析ツールを上回ることを実証すること。

提案手法

• SkipAnalyzer は、静的バグ検出、誤検出フィルタ、パッチ生成の 3 つの LLM ベースのコンponentを採用しており、それぞれがファインチューニングされたプロンプトを使用する。
• OpenAI の ChatGPT-3.5 Turbo および ChatGPT-4 モデルを活用し、ゼロショット、ワンショット、ファーマンショットのプロンプト戦略を用いて性能を向上させる。
• 10 個のオープンソース Java プロジェクトにおいて、Infer を用いて 222 件のヌル・デリファレンスおよび 46 件のリソースリークバグを特定・ラベル付けし、ラベル付きデータセットを構築する。
• 各解析コンponentに最適化された文脈適合型・タスク特化型のプロンプトを設計することで、モデル性能を最大化する。
• 生成された出力の構文的正しさと意味的正確性を評価し、生成されたパッチが正当で実行可能であることを保証する。
• 検出、フィルタリング、修復の各タスクについて、精度、正確性、成功確率を指標として性能を測定する。

実験結果

リサーチクエスチョン

• RQ1 SkipAnalyzer のような LLM ベースのシステムは、Infer ら従来の静的解析ツールに比べ、ヌル・デリファレンスおよびリソースリークバグの検出において優れていると言えるか？
• RQ2 LLM は、既存ツールの出力をフィルタリングする際、特に誤検出の低減にどの程度寄与できるか？
• RQ3 LLM は、高い成功率で構文的に正しいかつ意味的に妥当なパッチを、検出されたバグに対して生成できるか？
• RQ4 ゼロショット、ワンショット、ファーマンショットの各プロンプト戦略は、LLM の静的解析タスクにおける性能にどのように影響するか？
• RQ5 SkipAnalyzer の性能は、多様なオープンソースプロジェクトやバグタイプに一般化可能か？

主な発見

• SkipAnalyzer はヌル・デリファレンスバグの検出正確性が 68.37%、リソースリークバグでは 76.95% を達成し、それぞれ Infer の精度を 12.86%、43.13% ずつ上回った。
• 誤検出フィルタはヌル・デリファレンスで 93.88%、リソースリークで 63.33% の精度を達成し、既存のベースラインを上回った。
• パッチ生成部はヌル・デリファレンスバグに対して 97.30% の成功率、リソースリークバグに対して 91.77% の成功率を示した。
• 生成されたすべてのパッチの 98.77% が構文的に正しいことを確認し、コード生成の信頼性の高さを裏付けた。
• 誤検出フィルタは、自身の検出器の精度をヌル・デリファレンスバグで 16.31% 向上させ、内部の一貫性を示した。
• 誤検出除去において、SkipAnalyzer は、ヌル・デリファレンスバグで Infer よりも 28.68% の精度向上を達成し、最先端のツールを上回った。