[논문 리뷰] Literature review on vulnerability detection using NLP technology

Jiajie Wu|arXiv (Cornell University)|2021. 04. 23.

Software Engineering Research참고 문헌 97인용 수 9

한 줄 요약

이 문헌 고찰은 최근 자연어 처리(NLP) 기술이 자동 소프트웨어 취약성 탐지에 어떻게 적용되고 있는지를 종합적으로 분석한다. 주로 CodeBERT, GraphCodeBERT, PLBART와 같은 사전 훈련된 모델에 초점을 맞추며, 이러한 모델을 코드 전용 작업에 맞게 미세조정함으로써 취약성 탐지 정확도가 크게 향상됨을 보여준다. 특히 CodeBERT는 비보안 코드 탐지 작업에서 65.3%의 정확도를 기록하여 NLP 기법이 코드 지능과 취약성 분석에 매우 효과적임을 입증한다.

ABSTRACT

Vulnerability detection has always been the most important task in the field of software security. With the development of technology, in the face of massive source code, automated analysis and detection of vulnerabilities has become a current research hotspot. For special text files such as source code, using some of the hottest NLP technologies to build models and realize the automatic analysis and detection of source code has become one of the most anticipated studies in the field of vulnerability detection. This article does a brief survey of some recent new documents and technologies, such as CodeBERT, and summarizes the previous technologies.

연구 동기 및 목표

• 소스 코드에서 자동 취약성 탐지를 위한 최근 NLP 기반 접근법을 조사하기 위해.
• CodeBERT 및 GraphCodeBERT와 같은 사전 훈련된 모델이 코드 이해 및 취약성 식별 능력 향상에 미치는 역할를 분석하기 위해.
• 전이 학습 및 다중 모odal 사전 훈련이 취약성 탐지 성능에 미치는 영향을 평가하기 위해.
• NLP를 소프트웨어 보안 작업에 적용할 때 발생하는 주요 과제와 연구 격차를 규명하기 위해.
• 코드 지능 및 취약성 탐지 분야에서 최신 기술과 CodeXGLUE와 같은 벤치마크에 대한 종합적인 개요를 제공하기 위해.

제안 방법

• 딥 러닝 및 사전 훈련된 모델에 중점을 두고 NLP 응용 분야에서의 취약성 탐지 관련 최근 문헌에 대한 체계적 리뷰를 수행하기 위해.
• 코드 처리를 위한 기본 모델(CNN, RNN)과 현대적 어텐션 기반 모델(Transformer, BERT, GPT)으로 NLP 기법을 분류하기 위해.
• CodeBERT와 같은 모델에서 사용하는 마스크된 언어 모델링(MLM)과 대체 토큰 탐지(RTD)를 활용한 사전 훈련 및 미세조정 프레임워크를 분석하기 위해.
• CodeXGLUE와 같은 벤치마크를 활용하여 코드 분류, 결함 탐지, 코드 요약과 같은 후행 작업에서의 모델 성능을 평가하기 위해.
• 코드 지능 작업에서의 성능을 비교하기 위해 CodeBERT(이중 모odal), GraphCodeBERT(구조 인식), PLBART(노이즈에 강건한 디노이징) 등의 모델 아키텍처를 분석하기 위해.
• 학습된 임베딩에서 취약한 코드 샘플과 비취약한 코드 샘플 간의 특징 분리 정도를 평가하기 위해 t-SNE 시각화를 활용하기 위해.

실험 결과

연구 질문

• RQ1 CodeBERT와 같은 사전 훈련된 NLP 모델이 소스 코드의 자동 취약성 탐지 정확도를 어떻게 향상시키는가?
• RQ2 표준 코드 모델과 코드 구조를 통합한 향상된 변종인 GraphCodeBERT 간의 성능 차이는 무엇인가?
• RQ3 대규모 코드 및 자연어 데이터에서의 전이 학습이 자원이 제한된 취약성 데이터셋에서의 탐지 성능에 얼마나 기여하는가?
• RQ4 다양한 사전 훈련 목표(예: MLM, RTD, 디노이징)가 모델의 취약성 탐지 능력에 미치는 영향은 무엇인가?
• RQ5 CodeXGLUE와 같은 벤치마크가 코드 지능 및 취약성 탐지 분야의 연구 표준화와 발전에 어떤 역할을 하는가?

주요 결과

• NLP 기법의 소프트웨어 보안 분야 통합은 특히 사전 훈련된 모델을 통해 자동 취약성 탐지 분야에서 크게 발전하였다.
• CodeBERT는 비보안 코드 탐지 작업에서 65.3%의 정확도를 기록하여 이전 방법(62.08%)에 비해 뚜렷한 향상을 보였다.
• GraphCodeBERT는 사전 훈련 단계에서 데이터 플로우 및 제어 플로우 구조를 통합함으로써 네 가지 후행 코드 지능 작업에서 CodeBERT를 초월하는 성능을 보였다.
• 마스킹, 삭제, 인포지션 등의 다양한 노이즈 전략을 활용한 디노이징 오토인코더를 사용하는 PLBART와 같은 모델은 코드 요약, 생성, 분류 작업 전반에 걸쳐 뛰어난 일반화 능력을 보였다.
• 자연어와 코드의 다중 모달 사전 훈련은 취약성과 관련된 의미적 및 구문적 패턴을 이해하는 데 모델의 능력을 향상시켰다.
• t-SNE 시각화 결과는 학습된 표현이 취약한 코드 샘플과 비취약한 코드 샘플을 효과적으로 분리하고 있음을 확인하였으며, 이는 모델의 강력한 구분 능력을 시사한다.