[논문 리뷰] SkipAnalyzer: A Tool for Static Code Analysis with Large Language Models

Mohammad Mahdi Mohajer, Reem Aleithan외 5명|arXiv (Cornell University)|2023. 10. 27.

Software Engineering Research인용 수 4

한 줄 요약

SkipAnalyzer는 ChatGPT를 활용한 LLM 기반 도구로, 정적 코드 분석을 자동화하여 버그를 탐지하고, 잘못된 경고를 걸러내며, 문법적으로 올바른 패치를 생성한다. 자동으로 생성된 패치의 정확도는 최대 97.30%에 이를 정도로 높으며, 자원 누수 버그 탐지 정확도는 최대 76.95%에 이르며, 기존의 Infer와 같은 기준 도구보다 정밀도와 복구 정확도에서 뚜렷한 우월성을 보였다.

ABSTRACT

We introduce SkipAnalyzer, a large language model (LLM)-powered tool for static code analysis. SkipAnalyzer has three components: 1) an LLM-based static bug detector that scans source code and reports specific types of bugs, 2) an LLM-based false-positive filter that can identify false-positive bugs in the results of static bug detectors (e.g., the result of step 1) to improve detection accuracy, and 3) an LLM-based patch generator that can generate patches for the detected bugs above. As a proof-of-concept, SkipAnalyzer is built on ChatGPT, which has exhibited outstanding performance in various software engineering tasks. To evaluate SkipAnalyzer, we focus on two types of typical and critical bugs that are targeted by static bug detection, i.e., Null Dereference and Resource Leak as subjects. We employ Infer to aid the gathering of these two bug types from 10 open-source projects. Consequently, our experiment dataset contains 222 instances of Null Dereference bugs and 46 instances of Resource Leak bugs. Our study demonstrates that SkipAnalyzer achieves remarkable performance in the mentioned static analysis tasks, including bug detection, false-positive warning removal, and bug repair. In static bug detection, SkipAnalyzer achieves accuracy values of up to 68.37% for detecting Null Dereference bugs and 76.95% for detecting Resource Leak bugs, improving the precision of the current leading bug detector, Infer, by 12.86% and 43.13%, respectively. For removing false-positive warnings, SkipAnalyzer can reach a precision of up to 93.88% for Null Dereference bugs and 63.33% for Resource Leak bugs. Additionally, SkipAnalyzer surpasses state-of-the-art false-positive warning removal tools. Furthermore, in bug repair, SkipAnalyzer can generate syntactically correct patches to fix its detected bugs with a success rate of up to 97.30%.

연구 동기 및 목표

• 인간의 간섭 없이 전체적인 LLM 기반 정적 코드 분석을 자동화하는 종단 간 도구를 개발하는 것.
• Infer와 같은 기존 정적 버그 탐지기에서 발생하는 높은 잘못된 경고 비율 문제를 해결하여, 수작업 검증에 드는 비용을 줄이는 것.
• LLM 기반 컴포onent을 통합하여 탐지, 걸러내기, 복구 단계에서 정밀도와 정확도를 향상시켜 정적 분석의 정밀도를 개선하는 것.
• LLM이 실제 소프트웨어 공학 작업, 예를 들어 버그 탐지 및 패치 생성과 같은 분야에서 효과적으로 기능하는지 평가하는 것.
• LLM이 정밀도 및 복구 성공률과 같은 핵심 지표에서 기존 정적 분석 도구를 뛰어넘을 수 있음을 입증하는 것.

제안 방법

• SkipAnalyzer는 정적 버그 탐지기, 잘못된 경고 필터, 패치 생성기로 구성된 세 가지 LLM 기반 컴포넌트를 사용하며, 각각에 대해 미세 조정된 프롬프트를 적용한다.
• OpenAI의 ChatGPT-3.5 Turbo 및 ChatGPT-4 모델을 활용하여, Zero-shot, One-shot, Few-shot 프롬프팅 전략을 적용해 성능을 향상시킨다.
• 10개의 오픈소스 자바 프로젝트에서 Infer를 사용해 총 222개의 Null Dereference 및 46개의 Resource Leak 버그를 식별하고 레이블링하여 레이블된 데이터셋을 구축한다.
• 모델 성능을 극대화하기 위해 프롬프트 엔지니어링을 적용하며, 각 분석 컴포넌트에 맞는 맥락 인식형 및 작업 특화 프롬프트를 최적화한다.
• 모델 출력물의 문법적 정확성과 의미적 정확성을 평가하여 생성된 패치가 유효하고 실행 가능한지 확인한다.
• 정밀도, 정확도, 성공률을 측정하여 탐지, 걸러내기, 복구 작업의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 Infer와 같은 기존 정적 분석 도구보다 LLM 기반 시스템인 SkipAnalyzer가 Null Dereference 및 Resource Leak 버그 탐지에서 뛰어난 성능을 보일 수 있는가?
• RQ2 LLM은 기존 도구의 출력 결과를 필터링할 때 잘못된 경고를 얼마나 줄일 수 있는가? 특히 기존 도구의 출력에서 잘못된 경고를 줄이는 데 있어 어떤 정도의 효과를 보이는가?
• RQ3 LLM은 높은 성공률로 문법적으로 올바르고 의미적으로 타당한 패치를 생성할 수 있는가?
• RQ4 Different prompting strategies (zero-shot, one-shot, few-shot) 는 정적 코드 분석 작업에서 LLM의 성능에 어떤 영향을 미치는가?
• RQ5 SkipAnalyzer의 성능은 다양한 오픈소스 프로젝트와 버그 유형에 일반화되는가?

주요 결과

• SkipAnalyzer는 Null Dereference 버그 탐지 정확도가 68.37%이며, Resource Leak 버그 탐지 정확도는 76.95%를 기록하여, Infer의 정밀도를 각각 12.86%와 43.13% 향상시켰다.
• 잘못된 경고 필터는 Null Dereference 버그에 대해 93.88%의 정밀도를 달성했고, Resource Leak 버그에 대해서는 63.33%를 기록하여 기존 기준 도구를 초월했다.
• 패치 생성기는 Null Dereference 버그에 대해 97.30%의 성공률로 정확한 패치를 생성했으며, Resource Leak 버그에 대해서는 91.77%의 성공률을 기록했다.
• 모든 생성된 패치 중 98.77%가 문법적으로 올바르며, 코드 생성의 높은 신뢰성을 보여준다.
• 잘못된 경고 필터는 SkipAnalyzer 자체의 탐지기 성능을 Null Dereference 버그에 대해 16.31% 향상시켜 내부 일관성을 입증했다.
• SkipAnalyzer는 잘못된 경고 제거에서 최첨단 도구를 능가하며, Null Dereference 버그에 대해 Infer 대비 28.68%의 정밀도 향상을 기록했다.