[논문 리뷰] To Err is Machine: Vulnerability Detection Challenges LLM Reasoning

Benjamin Steenhoek, Md. Mahbubur Rahman외 6명|arXiv (Cornell University)|2024. 03. 25.

Network Security and Intrusion Detection인용 수 17

한 줄 요약

이 논문은 취약점 탐지에서 11개의 최신 LLM을 평가하고, 추론 성능이 좋지 않으며(0.5–0.63 Balanced Accuracy) 취약점의 위치 파악과 설명에서 잦은 오류가 있고 인간 전문가와의 정렬 정도가 제한적임을 발견했다.

ABSTRACT

In this paper, we present a challenging code reasoning task: vulnerability detection. Large Language Models (LLMs) have shown promising results in natural-language and math reasoning, but state-of-the-art (SOTA) models reported only 54.5% Balanced Accuracy in our vulnerability detection evaluation, even those models pre-trained on large amounts of source code. Our error analysis on LLM responses shows that the models struggle to reason about the code semantics relevant to identifying vulnerabilities, especially subtle semantic differences caused by small textual changes. We explored prominent models and training settings to understand their effects on vulnerability detection performance -- including better prompts, larger models, more pre-training data, and fine-tuning -- but none led to significant improvements. This raises the question of whether simply scaling training data and model size will allow us to "solve" complex code reasoning tasks like vulnerability detection, or if a fundamental shift in modeling and training techniques is required. We also explored adding domain knowledge to prompts; although it helped certain models understand some code semantics, vulnerability detection requires multi-step reasoning, and these models still failed in steps, such as reasoning about variable relations. Our results suggest that new models, new training methods, or more execution-specific pretraining data may be needed to conquer vulnerability detection. We speculate that auto-regressive pre-training on source code may not effectively extract code semantics, especially on the current pretraining mixtures, in which execution data is scarce. Success on vulnerability detection as a code reasoning task can benefit many areas of software engineering such as debugging, test input generation, and program repair. Our code and data are available at https://doi.org/10.6084/m9.figshare.27368025.

연구 동기 및 목표

• 코드에서 소프트웨어 취약점을 탐지하는 최첨단 LLM의 능력을 평가한다.
• 프롬프트 기법들(기본, 인-컨텍스트, 체인-오브-생각) 이 취약점 탐지에 미치는 영향을 조사한다.
• LLM이 취약점을 설명할 때의 오류 유형을 특성화한다.
• 표준 벤치마크에서 인간 성능과 LLM의 취약점 위치 파악을 비교한다.

제안 방법

• 코드 생성 지향 LLM 11개를 조사하고 세 가지 새로운 기법을 포함한 다섯 가지 프롬프트 템플릿으로 평가한다.
• SVEN 데이터셋(버그 코드와 수정 코드의 100개 함수 쌍)을 사용하여 취약점 탐지를 위한 이진 분류 태스크를 만든다.
• Basic, IC-Random, IC-Embedding, CoT-CVE, CoT-SA 프롬프트를 포함하여 고성능 프롬프트와 구성을 체계적으로 탐색한다.
• 287개 LLM 응답을 분석하여 오류를 코드 이해, 환상/암기/반복, 로직, 일반 지식으로 분류한다.
• DbgBench 벤치마크에서 결함 위치 파악을 평가하고 인간 성능과 비교한다.

실험 결과

연구 질문

• RQ1 RQ1: LLM 기반 취약점 탐지에서 가장 성공적이고 가장 실패한 프롬프트 설계는 무엇인가?
• RQ2 RQ2: 최첨단 LLM은 취약점 탐지에서 얼마나 잘 동작하는가?
• RQ3 RQ3: 취약점을 설명할 때 LLM은 어떤 종류의 오류를 범하는가?
• RQ4 RQ4: 취약점 로컬라이제이션에서 LLM은 인간 개발자와 어떻게 비교되는가?

주요 결과

• Balanced Accuracy 0.5–0.63으로, 무작위 추측에 근접했다.
• 버그-수정 쌍의 76%를 모델이 구분하지 못했다.
• LLMs는 27개 DbgBench 버그 중 6개만 정확히 위치했다; GPT-3가 4/27로 최적의 성능을 보였다.
• 응답의 57%가 코드 이해, 로직, 일반 지식에서 오류를 포함했고 경계/널 체크가 자주 잘못 식별되었다.
• 설명은 버그 위치, 유형, 근본 원인 보고 정확도가 상당히 떨어졌고(18–100% 하락).
• DbgBench에서의 인간 성능은 평가 대상 LLM에 비해 결함 위치 파악의 신뢰도가 더 높음을 시사한다.