[논문 리뷰] D2A: A Dataset Built for AI-Based Vulnerability Detection Methods Using Differential Analysis

Yunhui Zheng, Saurabh Pujar외 7명|arXiv (Cornell University)|2021. 02. 16.

Software Engineering Research참고 문헌 34인용 수 10

한 줄 요약

D2A는 오픈소스 프로젝트의 버그 수정 커밋을 기반으로 정적 분석 이슈를 진짜 양성 또는 가짜 양성으로 자동으로 레이블링하는 차등 분석 기반 방법을 제안한다. 이는 상세한 맥락 정보를 포함한 130만 개가 넘는 고품질 데이터셋을 생성하며, 정적 분석만으로는 달성하기 어려운 레이블 품질 향상을 이끌어내고, 악성 취약성 탐지에서 가짜 양성 문제를 효과적으로 줄이는 기계학습 모델 훈련을 가능하게 한다.

ABSTRACT

Static analysis tools are widely used for vulnerability detection as they understand programs with complex behavior and millions of lines of code. Despite their popularity, static analysis tools are known to generate an excess of false positives. The recent ability of Machine Learning models to understand programming languages opens new possibilities when applied to static analysis. However, existing datasets to train models for vulnerability identification suffer from multiple limitations such as limited bug context, limited size, and synthetic and unrealistic source code. We propose D2A, a differential analysis based approach to label issues reported by static analysis tools. The D2A dataset is built by analyzing version pairs from multiple open source projects. From each project, we select bug fixing commits and we run static analysis on the versions before and after such commits. If some issues detected in a before-commit version disappear in the corresponding after-commit version, they are very likely to be real bugs that got fixed by the commit. We use D2A to generate a large labeled dataset to train models for vulnerability identification. We show that the dataset can be used to build a classifier to identify possible false alarms among the issues reported by static analysis, hence helping developers prioritize and investigate potential true positives first.

연구 동기 및 목표

• AI 기반 취약성 탐지용 기존 데이터셋이 인위적 콘텐츠, 제한된 맥락 또는 규모 부족 등의 심각한 한계를 보이고 있다는 점을 해결하기 위해.
• 실제 소프트웨어 프로젝트를 기반으로 하여 정적 분석 이슈를 진짜 양성 또는 가짜 양성으로 자동으로 스케일링 가능한 방법을 개발하기 위해.
• 기계학습 모델을 훈련하기 위한 고품질의 대규모 데이터셋을 생성하고, 이는 버그 유형, 근본 원인, 추적 경로 등 상세한 맥락 정보를 포함하기 위함이다.
• D2A 레이블링 데이터셋을 기반으로 모델을 훈련시켜 정적 분석의 가짜 양성을 효과적으로 줄이고, 개발자 생산성을 향상시키기 위함이다.

제안 방법

• 여섯 개의 대규모 오픈소스 프로젝트에서 버그 수정 커밋 이전 및 이후의 버전 쌍에 대해 차등 분석을 적용한다.
• 두 버전 모두에 대해 정적 분석을 수행하며, '이전' 버전에만 존재하고 '이후' 버전에는 없는 이슈는 진짜 양성으로 간주한다.
• 커밋 기록과 프로시저 간 정적 분석을 활용하여 근본 원인 위치 및 추적 경로를 포함한 상세한 버그 맥락을 추출한다.
• 프로젝트 간 레이블링 예제를 집계하여 다중 프로젝트 데이터셋을 구성하며, 각 프로젝트별로 훈련/검증/테스트 분할을 유지한다.
• 기계학습 모델(예: CatBoost, LightGBM, Random Forest, Extra-Trees)을 D2A 데이터셋에 훈련시어 정적 분석 이슈를 진짜 양성 또는 가짜 양성으로 분류한다.
• 모델 간 앙상블 투표를 적용하여 일반화 능력과 성능을 향상시키며, 특히 다수 프로젝트에 걸쳐 통합 평가할 때 유리하다.

실험 결과

연구 질문

• RQ1 버전 쌍에 대한 차등 분석이 정적 분석 보고서에서 진짜 양성을 신뢰성 있게 식별할 수 있는가?
• RQ2 대규모 자동화된 레이블링 방법이 정적 분석만으로는 달성하기 어려운 높은 품질의 레이블을 생성할 수 있는가?
• RQ3 D2A 데이터셋이 기계학습 모델을 효과적으로 훈련시켜 정적 분석의 가짜 양성을 줄일 수 있는가?
• RQ4 모델 성능은 다양한 소프트웨어 프로젝트 간에 어떻게 달라지며, 앙상블 방법이 일반화 능력을 향상시킬 수 있는가?

주요 결과

• D2A 데이터셋은 여섯 개의 대규모 오픈소스 프로젝트에서 유래한 130만 개 이상의 레이블링 예제를 포함하며, 버그 유형, 근본 원인, 추적 경로 등 상세한 맥락 정보를 제공한다.
• 수동 검증 결과, D2A는 정적 분석만으로는 달성하기 어려운 레이블 품질을 크게 향상시켜, 레이블링의 모호성과 가짜 양성을 줄였다.
• D2A 기반의 가짜 양성 감소 모델은 통합 데이터셋에서 평균 F1 스코어 0.54와 가짜 양성 감소율(FPRR) 83.7%를 기록하며 개별 모델을 초월하는 성능을 보였다.
• 여러 모델(예: CatBoost, LightGBM, Random Forest, Extra-Trees) 간 앙상블 투표를 적용한 결과, 통합 데이터셋에서 F1 스코어 0.54와 FPRR 83.7%의 최고 성능을 기록했다.
• 개별 프로젝트에서는 높은 FPRR 성능을 기록하였으며, 예를 들어 libtiff 프로젝트에서는 97.3%의 FPRR(기계학습 모델: LightGBM)를 달성하여 다양한 코드베이스에서 강력한 성능을 입증했다.
• 결과적으로 D2A 데이터셋은 기계학습 모델을 효과적으로 훈련시켜 진짜 양성을 우선순위로 정렬할 수 있도록 하여, 정적 분석 보고서의 분류에 소요되는 개발자 노력 감소에 기여한다.