[논문 리뷰] Automated Vulnerability Detection in Source Code Using Deep Representation Learning

Rebecca L. Russell, Louis J. Kim외 6명|arXiv (Cornell University)|2018. 07. 11.

Software Engineering Research인용 수 7

한 줄 요약

이 논문은 수백만 개의 오픈소스 함수로부터 학습된 표현을 사용하여 C/C++ 소스 코드에서 자동으로 취약점을 탐지하는 딥러닝 기반 시스템을 제안한다. 정제된 정적 분석기 결과를 기반으로 커스터마이징된 렉서와 컨volutional 신경망, 랜덤 포레스트 앙상블을 결합함으로써, 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 기존의 정적 분석기 및 이전의 머신러닝 접근법을 능가한다.

ABSTRACT

Increasing numbers of software vulnerabilities are discovered every year whether they are reported publicly or discovered internally in proprietary code. These vulnerabilities can pose serious risk of exploit and result in system compromise, information leaks, or denial of service. We leveraged the wealth of C and C++ open-source code available to develop a large-scale function-level vulnerability detection system using machine learning. To supplement existing labeled vulnerability datasets, we compiled a vast dataset of millions of open-source functions and labeled it with carefully-selected findings from three different static analyzers that indicate potential exploits. The labeled dataset is available at: https://osf.io/d45bw/. Using these datasets, we developed a fast and scalable vulnerability detection tool based on deep feature representation learning that directly interprets lexed source code. We evaluated our tool on code from both real software packages and the NIST SATE IV benchmark dataset. Our results demonstrate that deep feature representation learning on source code is a promising approach for automated software vulnerability detection.

연구 동기 및 목표

• 오픈소스 및 프라이빗 코드베이스에서 증가하는 소프트웨어 취약점 문제를 해결한다.
• 새로운 또는 복잡한 취약점을 놓치는 규칙 기반 정적 분석기의 한계를 극복한다.
• 다양한 취약점 패tern에 대해 일반화할 수 있도록 대규모 실세계 코드를 활용해 머신러닝 모델을 훈련시킨다.
• 렉스드 소스 코드를 기반으로 한 딥 레이어드 표현 학습을 활용해 기능 수준의 확장 가능한 취약점 탐지 시스템을 개발한다.
• 딥 뉴럴 특징과 앙상블 분류를 결합하여 탐지 정확도를 향상시키고, 임계값을 조절해 정밀도-재현율 균형을 조정한다.

제안 방법

• 데비안, 깃허브, SATE IV Juliet 테스트 세트에서 1,200만 개 이상의 C/C++ 함수로 구성된 데이터셋을 구축했다.
• 딥러닝에 적합한 순서 기반 표현으로 소스 코드를 토큰화한 커스터마이징된 렉서를 적용했다.
• 세 가지 정적 분석기(Cl相当, Flawfinder, Cppcheck)를 사용해 잠재적 취약점이 있는 함수를 레이블링하여 정제된 데이터셋을 생성했다.
• RNN, CNN, 완전 연결 네트워크를 포함한 여러 머신러닝 모델을 훈련시어, 렉스드 코드에서 깊은 특징 표현을 학습시켰다.
• 학습된 깊은 특징과 랜덤 포레스트 분류기를 결합하여 일반화 능력과 예측 성능을 향상시켰다.
• 정밀도-재현율 곡선과 ROC AUC 지표를 사용해 모델 성능을 평가하였으며, 예측을 해석하기 위해 주의 맵(attention maps)을 시각화했다.

실험 결과

연구 질문

• RQ1 원시적이고 렉스드된 소스 코드에 대한 딥 레이어드 표현 학습이 다양한 코드베이스에서 광범위한 소프트웨어 취약점을 효과적으로 탐지할 수 있는가?
• RQ2 실제 코드(데비안, 깃허브)에서의 모델 성능이 SATE IV와 같은 합성 벤치마크에서의 성능과 비교해 어떻게 다를까?
• RQ3 딥 뉴럴 네트워크 특징이 취약점 탐지에서 전통적인 백오브워즈 또는 규칙 기반 표현보다 얼마나 뛰어나게 성능을 높일 수 있는가?
• RQ4 딥 특징과 랜덤 포레스트를 조합한 앙상블 모델이 개별 모델보다 탐지 정확도와 강건성을 향상시킬 수 있는가?
• RQ5 머신러닝 모델의 예측 성능가 정적 분석 도구의 성능을 정밀도, 재현율, F1 점수 측면에서 비교해보면 어떻게 다를까?

주요 결과

• CNN + 랜덤 포레스트 모델은 자연 코드 테스트 세트(데비안 및 깃허브)에서 가장 높은 PR AUC(0.518)와 F1 점수(0.566)를 기록했으며, BOW + RF 및 RNN 기반 모델보다 뛰어났다.
• SATE IV 벤치마크에서는 CNN + RF 모델이 PR AUC 0.916, F1 점수 0.824를 기록했으며, Clang(F1: 0.450)과 Flawfinder(F1: 0.365)와 같은 기존 정적 분석기들을 크게 앞서갔다.
• 모델 성능은 SATE IV 데이터셋에서 실제 코드보다 뚜렷이 뛰어났는데, 이는 합성 데이터에서 더 높은 일관성과 균형 잡힌 레이블 때문일 것이다.
• CNN과 RNN에서 유도한 딥 특징의 사용으로 기존의 백오브워즈 표현 대비 F1 점수에서 10~15% 향상된 성능을 기록했다.
• 컨볼루션 특징 맵의 시각화를 통해 예측 결과의 해석 가능성을 높였으며, 취약점과 연관된 코드 영역을 명확히 드러냈다.
• 시스템은 확장성이 뛰어나 컴iles 없이 대규모 코드베이스를 신속히 처리했으며, 정밀도-재현율 균형 조정을 위한 조절 가능한 임계값을 제공했다.