[논문 리뷰] Detecting software vulnerabilities using Language Models

Marwan Omar|arXiv (Cornell University)|2023. 02. 23.

Software Engineering Research인용 수 6

한 줄 요약

이 논문은 소프트웨어 취약성을 탐지하기 위해 사전 훈련된 GPT 언어 모델을 벤치마크 데이터셋에 맞추어 미세조정하는 트랜스포머 기반 프레임워크인 VulDetect를 제안한다. 이는 실시간 배포를 위한 계산 부하를 줄이며, 취약한 코드 패턴을 식별하는 데 92.65%의 정확도를 달성하여 SyseVR 및 VulDeBERT와 같은 기존 방법들을 능가한다.

ABSTRACT

Recently, deep learning techniques have garnered substantial attention for their ability to identify vulnerable code patterns accurately. However, current state-of-the-art deep learning models, such as Convolutional Neural Networks (CNN), and Long Short-Term Memories (LSTMs) require substantial computational resources. This results in a level of overhead that makes their implementation unfeasible for deployment in realtime settings. This study presents a novel transformer-based vulnerability detection framework, referred to as VulDetect, which is achieved through the fine-tuning of a pre-trained large language model, (GPT) on various benchmark datasets of vulnerable code. Our empirical findings indicate that our framework is capable of identifying vulnerable software code with an accuracy of up to 92.65%. Our proposed technique outperforms SyseVR and VulDeBERT, two state-of-the-art vulnerability detection techniques

연구 동기 및 목표

• 기존의 CNN 및 LSTM과 같은 딥러닝 모델이 실시간 취약성 탐지에서 높은 계산 비용을 유발하는 문제를 해결하기 위해.
• 대규모 언어 모델을 활용하여 확장성 있고 효율적이며 정확한 취약성 탐지 시스템을 개발하기 위해.
• 사전 훈련된 언어 모델의 미세조정을 통해 SyseVR 및 VulDeBERT와 같은 최첨단 기술을 향상시키기 위해.
• 실제 소프트웨어 개발 파이프라인에서 취약성 탐지의 실용적 구현을 가능하게 하기 위해.
• 트랜스포머 기반 모델이 자원 요구량을 줄이며 높은 정확도를 달성할 수 있음을 입증하기 위해.

제안 방법

• 취약한 코드의 다수의 벤치마크 데이터셋에 사전 훈련된 GPT 언어 모델을 미세조정하는 것.
• 코드 내의 장거리 의존성과 의미 패턴을 포착하기 위해 트랜스포머 아키텍처를 사용하는 것.
• 취약하거나 비취약으로 레이블이 지정된 코드 스니펫에 대해 종단 간 훈련을 수행하는 것.
• 취약성 예측을 위해 표준 NLP 토큰화 및 시퀀스 분류 헤드를 활용하는 것.
• 일반 언어 표현을 소프트웨어 보안 작업에 적응시키기 위해 전이 학습을 활용하는 것.
• 소프트웨어 개발 환경에서 실시간 배포를 지원하기 위해 추론 효율성을 최적화하는 것.

실험 결과

연구 질문

• RQ1 GPT와 같은 미세조정된 대규모 언어 모델이 기존 딥러닝 모델보다 소프트웨어 취약성을 더 높은 정확도로 탐지할 수 있는가?
• RQ2 사전 훈련된 언어 모델에서의 전이 학습이 높은 탐지 정확도를 유지하면서도 계산 부하를 줄이는가?
• RQ3 제안된 프레임워크는 SyseVR 및 VulDeBERT와 같은 최첨단 방법과 정밀도, 재현율 및 F1 점수 측면에서 어떻게 비교되는가?
• RQ4 트랜스포머 기반 모델이 다양한 프로그래밍 언어와 취약성 유형에 대해 얼마나 일반화될 수 있는가?
• RQ5 과도한 자원 소비 없이 실시간 소프트웨어 개발 워크플로우에 효율적으로 배포될 수 있는가?

주요 결과

• 제안된 VulDetect 프레임워크는 벤치마크 데이터셋에서 92.65%의 취약성 탐지 정확도를 달성한다.
• VulDetect는 탐지 정확도 측면에서 SyseVR 및 VulDeBERT를 능가하며, 예측되지 않은 코드 패턴에 대한 더 뛰어난 일반화 능력을 보여준다.
• 기존의 CNN 및 LSTM 기반 접근 방식과 비교해 계산 부하를 줄여 실시간 배포의 가능성을 높인다.
• 소프트웨어 취약성 데이터에 대해 사전 훈련된 GPT 모델을 미세조정하면 무작위 또는 사전 훈련되지 않은 기반 모델보다 탐지 성능이 크게 향상된다.
• 다양한 코드 구조와 취약성 유형 전반에서 높은 성능을 유지하여 강력한 일반화 능력을 보여준다.
• 결과는 트랜스포머 기반 모델이 어텐션 메커니즘과 맥락 이해 능력 덕분에 코드 취약성 탐지에 매우 적합함을 확인한다.