[논문 리뷰] On the Use of Fine-grained Vulnerable Code Statements for Software Vulnerability Assessment Models

Triet Huynh Minh Le, M. Ali Babar|arXiv (Cornell University)|2022. 03. 16.

Software Engineering Research인용 수 4

한 줄 요약

이 논문은 세밀한 취약 코드 문장과 그 주변 맥락을 사용하여 기능 수준에서 소프트웨어 취약성(SV) 심각도를 평가하기 위한 머신러닝 접근법을 제안한다. 이는 취약 문장이 크기가 5.8배 작음에도 불구하고 비취약 문장보다 Matthews Correlation Coefficient(MCC)가 7.5–114.5% 높게 나타나며, 맥락 통합으로 성능이 0.64 MCC와 0.75 F1-score로 향상되어 기능 수준의 SV 평가를 위한 강력한 기준을 확립한다.

ABSTRACT

Many studies have developed Machine Learning (ML) approaches to detect Software Vulnerabilities (SVs) in functions and fine-grained code statements that cause such SVs. However, there is little work on leveraging such detection outputs for data-driven SV assessment to give information about exploitability, impact, and severity of SVs. The information is important to understand SVs and prioritize their fixing. Using large-scale data from 1,782 functions of 429 SVs in 200 real-world projects, we investigate ML models for automating function-level SV assessment tasks, i.e., predicting seven Common Vulnerability Scoring System (CVSS) metrics. We particularly study the value and use of vulnerable statements as inputs for developing the assessment models because SVs in functions are originated in these statements. We show that vulnerable statements are 5.8 times smaller in size, yet exhibit 7.5-114.5% stronger assessment performance (Matthews Correlation Coefficient (MCC)) than non-vulnerable statements. Incorporating context of vulnerable statements further increases the performance by up to 8.9% (0.64 MCC and 0.75 F1-Score). Overall, we provide the initial yet promising ML-based baselines for function-level SV assessment, paving the way for further research in this direction.

연구 동기 및 목표

• NVD 보고서에서 공개되는 CVSS 메트릭의 가용성이 보통 취약성 수정 후 146일이 지난 후에 이루어지는 데 기인한 지연 문제를 해결하기 위해.
• 세밀한 취약 코드 문장과 그 맥락이 기능 수준의 소프트웨어 취약성(SV) 평가를 향상시킬 수 있는지 조사하기 위해.
• 코드에서 직접 7개의 CVSS 메트릭(예: 접근 벡터, 심각도 등)을 예측할 수 있는 데이터 기반 모델을 개발하여 수정 우선순위를 조기에 설정하기 위해.
• 취약 코드 라인과 비취약 코드 라인 간의 SV 평가 메트릭 예측 성능에 대한 상대적 효과를 평가하기 위해.
• 실제 다양한 자바 프로젝트를 기반으로 강력하고 재사용 가능한 기능 수준의 SV 평가 기준을 수립하기 위해.

제안 방법

• 연구는 200개의 자바 프로젝트에서 공개 저장소로부터 확보한 429개의 실제 취약성에서 유래한 1,782개의 함수를 사용한다.
• 기존의 세밀한 SV 탐지 방법을 활용해 취약 문장을 식별하고, 그 주변 코드 맥락을 유지한다.
• 다양한 특징 추출 기법(예: 코드 임베딩, 구문적 특징)을 취약 문장과 비취약 라인에 적용한다.
• Random Forest, XGBoost 등의 다양한 머신러닝 분류기들을 사용하여 7개의 CVSS 메트릭(접근 벡터, 접근 복잡도, 인증, 기밀성, 무결성, 가용성, 심각도)을 예측한다.
• 성능 평가에는 Matthews Correlation Coefficient(MCC)와 F1-Score를 사용하며, 통계적 유의성은 Wilcoxon 부호 순위 검정을 통해 테스트한다.
• 모델은 취약 문장을 포함한 함수 내 모든 라인을 통합하여 맥락의 영향이 예측 성능에 미치는 영향을 평가한다.

Figure 2 . Methodology used to answer the research questions. Note: The vulnerable function is the one described in Fig. 1 .

실험 결과

연구 질문

• RQ1 소프트웨어 취약성의 CVSS 메트릭을 예측하는 데 있어 세밀한 취약 코드 문장은 비취약 문장보다 얼마나 효과적인가?
• RQ2 취약 문장 주변의 코드 맥락을 통합할 경우 기능 수준의 취약성 평가 모델의 성능 향상 정도는 어느 정도인가?
• RQ3 코드 수준의 입력을 기반으로 학습된 머신러닝 모델이 취약성 보고서가 발표되기 이전에도 높은 성능을 달성할 수 있는가?
• RQ4 취약 문장의 크기와 비취약 라인의 크기를 비교했을 때, 이 크기의 차이는 그들의 예측 유용성에 영향을 미치는가?
• RQ5 제안된 모델의 일반화 능력은 다양한 실제 소프트웨어 프로젝트에 대해 어느 정도인가?

주요 결과

• 취약 문장은 비취약 문장보다 크기가 5.8배 작지만, CVSS 메트릭 예측에서 Matthews Correlation Coefficient(MCC)가 7.5–114.5% 높게 나타난다.
• 취약 문장 주변 맥락의 통합으로 모델 성능이 최대 8.9% 향상되어 최고 MCC는 0.64, F1-Score는 0.75에 도달한다.
• 취약 문장은 비취약 문장보다 MCC 기준 7.4–114.5%, F1-Score 기준 5.5–43.6% 높은 성능을 보이며, 높은 예측 관련성을 나타낸다.
• 연구 결과는 p값 < 0.01이며 효과 크기가 무시할 수 없어 다수의 메트릭에서 강력한 신뢰성을 입증한다.
• 제안된 모델은 다양한 도메인과 규모의 실제 자바 프로젝트를 기반으로 학습된 경우에도 뛰어난 성능을 보이며 실용적 적용 가능성을 시사한다.
• 데이터셋과 학습된 모델은 공개되어 있어 다른 프로그래밍 언어와 애플리케이션으로의 재사용 및 확장에 기여할 수 있다.

Figure 3 . Class distributions of the seven CVSS metrics.