[논문 리뷰] An Empirical Study of Deep Learning Models for Vulnerability Detection

Benjamin Steenhoek, Md. Mahbubur Rahman외 2명|arXiv (Cornell University)|2022. 12. 15.

Software Engineering Research인용 수 7

한 줄 요약

이 논문은 Devign 및 MSR 데이터셋에서 취약성 탐지에 사용되는 9종의 최신 기술 기반 딥러닝 모델에 대한 종합적인 실험 연구를 수행한다. 모델 간 일치도, 학습 데이터의 영향, 설명 가능성에 대해 분석한 결과, 상호 모델 간 일치도가 매우 낮았으며(단지 7%의 일致), 런-투-런 변동성이 높았고(34.9%의 불일치), 유형별로 학습된 모델이 일반 모델보다 성능이 뛰어났으며, 약 1,000개의 취약한 예제에서 성능이 안정화됨을 확인하였다. 본 연구는 소프트웨어 보안 분야에서 모델의 강건성과 설명 가능성 향상을 위한 재현 가능한 코드, 데이터셋, 통찰을 제공한다.

ABSTRACT

Deep learning (DL) models of code have recently reported great progress for vulnerability detection. In some cases, DL-based models have outperformed static analysis tools. Although many great models have been proposed, we do not yet have a good understanding of these models. This limits the further advancement of model robustness, debugging, and deployment for the vulnerability detection. In this paper, we surveyed and reproduced 9 state-of-the-art (SOTA) deep learning models on 2 widely used vulnerability detection datasets: Devign and MSR. We investigated 6 research questions in three areas, namely model capabilities, training data, and model interpretation. We experimentally demonstrated the variability between different runs of a model and the low agreement among different models' outputs. We investigated models trained for specific types of vulnerabilities compared to a model that is trained on all the vulnerabilities at once. We explored the types of programs DL may consider "hard" to handle. We investigated the relations of training data sizes and training data composition with model performance. Finally, we studied model interpretations and analyzed important features that the models used to make predictions. We believe that our findings can help better understand model results, provide guidance on preparing training data, and improve the robustness of the models. All of our datasets, code, and results are available at https://doi.org/10.6084/m9.figshare.20791240.

연구 동기 및 목표

• 딥러닝 모델의 취약성 탐지 성능이 다양한 런과 모델 간에 얼마나 신뢰성 있고 일관성 있는지 이해하기 위해.
• 통합 모델 대비 특정 취약성 유형별로 학습된 모델이 성능 향상에 기여하는지 평가하기 위해.
• 모델이 정확히 예측하기 어려운 프로그램을 만들기 위한 코드 특징을 특정하기 위해.
• 학습 데이터 크기와 구성이 모델 성능에 미치는 영향을 분석하기 위해.
• 최신 기술 기반 설명 도구를 활용해 모델이 예측에 사용하는 코드 특징을 분석하기 위해.

제안 방법

• Devign 및 MSR 데이터셋에서 최신 기술 기반 딥러닝 모델 11종(예: GNN, RNN, LSTM, CNN, Transformer 아키텍처 포함)을 재현하였다.
• 학습 데이터의 프로젝트 구성에 기인한 편향을 줄이기 위해 5폴드 교차검증을 수행하였다.
• 런-투-런 변동성을 평가하기 위해 다수의 랜덤 시드를 사용하였으며, 전부 0 또는 전부 1의 예측을 내는 불안정한 모델은 제외하였다.
• 최신 기술 기반 모델 설명 도구(LIME, Grad-CAM 등)를 적용하여 다양한 모델 간 중요한 코드 특징을 추출하고 비교하였다.
• 코드 특징을 기반으로 분류가 어려운 프로그램을 예측할 수 있는 로지스틱 회귀 모델을 구축하였다.
• 각 예측의 상위 10개 중요 라인을 분석하여 특징 겹침 정도와 공통 패턴을 정량화하였다.

실험 결과

연구 질문

• RQ1 RQ1: 모델 간 취약성 탐지 결과에 일치가 있는가? 동일 모델의 다양한 런 간, 다양한 모델 간 변동성은 어떠한가?
• RQ2 RQ2: 특정 유형의 취약성은 더 쉽게 탐지되는가? 취약성 유형별로 별도로 학습하는 것이 통합 모델보다 유리한가?
• RQ3 RQ3: 특정 코드 특징을 가진 프로그램은 정확히 예측하기 어려운가? 만약 그렇다면 그 특징은 무엇인가?
• RQ4 RQ4: 학습 데이터셋 크기를 증가시키면 모델 성능이 향상되는가?
• RQ5 RQ5: 학습 데이터에 포함된 프로젝트의 구성이 모델 성능에 어떤 영향을 미치는가?
• RQ6 RQ6: 모델은 예측에 어떤 소스 코드 특징을 사용하는가? 중요한 특징에 대해 일치하는가?

주요 결과

• 동일 모델의 다양한 런 간 평균적으로 34.9%의 테스트 샘플에서 예측이 일관되지 않아, 높은 런-투-런 변동성을 확인하였다.
• 9개의 모든 모델 간 일致한 예측가능한 테스트 예측은 단지 7%에 불과하여 최신 기술 기반 모델 간 낮은 공감대를 확인하였다.
• 특정 취약성 유형에 맞춰 학습된 모델가 전체 취약성 병합 학습 모델보다 유의미하게 높은 성능을 보였다.
• 모델 성능은 약 1,000개의 취약한 예제에서 안정화되었으며, 이 이상의 데이터는 수익 감소 효과를 보였다.
• 코드 특징을 기반으로 학습한 로지스틱 회귀 모델이 분류가 어려운 프로그램을 예측할 수 있었으며, 이는 모델 실패 패턴이 식별 가능함을 시사하였다.
• 설명 도구 분석 결과, 모델들이 겹치는 코드 특징을 사용하였으며, 각 예측의 상위 10개 중요 라인 간 평균 3.38~6.88개의 라인이 공통으로 나타났다.