[논문 리뷰] Common Vulnerability Scoring System Prediction based on Open Source Intelligence Information Sources

Philipp Kuehn, David N. Relke외 1명|arXiv (Cornell University)|2022. 10. 05.

Web Application Security Vulnerabilities인용 수 4

한 줄 요약

이 논문은 기존의 NVD와 같은 전통적인 취약점 데이터베이스를 초월해 오픈소스 인텔리전스(OSINT) 텍스트를 사용하여 공통 취약점 평가 체계(CVSS) 벡터를 예측하기 위한 딥러닝 접근법을 제안한다. 블로그, 뉴스 기사, 패치 노트 등 참조된 웹 페이지를 웹 스크래핑하고 분석함으로써, NVD 설명과 OSINT 텍스트를 결합한 데이터로 DistilBERT 기반 모델을 훈련시켰으며, OSINT 데이터 자체에서의 유의미한 향상은 없었음에도 불구하고, CVSS 구성 요소 예측에서 최신 기술 수준의 성능을 달성하였다.

ABSTRACT

The number of newly published vulnerabilities is constantly increasing. Until now, the information available when a new vulnerability is published is manually assessed by experts using a Common Vulnerability Scoring System (CVSS) vector and score. This assessment is time consuming and requires expertise. Various works already try to predict CVSS vectors or scores using machine learning based on the textual descriptions of the vulnerability to enable faster assessment. However, for this purpose, previous works only use the texts available in databases such as National Vulnerability Database. With this work, the publicly available web pages referenced in the National Vulnerability Database are analyzed and made available as sources of texts through web scraping. A Deep Learning based method for predicting the CVSS vector is implemented and evaluated. The present work provides a classification of the National Vulnerability Database's reference texts based on the suitability and crawlability of their texts. While we identified the overall influence of the additional texts is negligible, we outperformed the state-of-the-art with our Deep Learning prediction models.

연구 동기 및 목표

• 기존의 취약점 데이터베이스 외의 공개 웹 자료가 CVSS 벡터 예측에 기여할 수 있는지 조사한다.
• 취약점에 대해 보고하는 OSINT 자료(예: 블로그, 뉴스, GitHub)를 식별하고 분류한다.
• NVD 설명과 스크래핑한 OSINT 텍스트를 모두 사용해 딥러닝 모델을 구축하고 평가한다.
• 자동화된 취약점 심각도 평가를 위한 OSINT를 훈련 데이터로 사용하는 가능성과 품질을 평가한다.
• 표준화된 지표를 사용해 제안된 모델의 성능을 기존 최신 기술 수준의 방법들과 비교한다.

제안 방법

• NVD 항목에 포함된 URL에서 텍스트 콘텐츠를 추출하기 위해 웹 스크래핑을 적용하였으며, 블로그, 뉴스 사이트, GitHub 등의 도메인을 중심으로 하였다.
• 스크래핑한 소스의 텍스트는 필터링, 정제를 거쳐 공식 NVD 취약점 설명과 결합되어 모델 훈련에 사용되었다.
• CVSS 벡터 구성 요소의 다중 레이블 분류를 위해 핀테이닝된 DistilBERT 모델을 딥러닝 아키텍처의 핵심으로 사용하였다.
• 모델은 여러 테스트 세트에서 평균 제곱오차(MSE)와 평균 절대오차(MAE) 등의 지표를 사용해 훈련 및 평가되었다.
• OSINT 데이터의 영향을 평가하기 위해 NVD 전용 데이터로 훈련된 모델과 OSINT 텍스트를 포함한 모델 간의 성능을 비교하였다.
• 기존 연구와의 비교 평가가 이루어졌지만, 모델 가용성 및 지표 일관성의 한계로 완전한 재현이 어려웠다.

실험 결과

연구 질문

• RQ1 기존의 취약점 데이터베이스 외에서 취약점에 관한 관련 텍스트 정보를 어디서 찾을 수 있는가?(RQ1)
• RQ2 취약점 데이터베이스 외의 공개 데이터 소스가 CVSS 벡터를 예측하는 데 얼마나 적합한가?(RQ2)
• RQ3 NVD 전용 훈련 데이터에 비해 OSINT에서 유래한 텍스트가 CVSS 벡터 예측 모델의 정확도를 향상시킬 수 있는가?
• RQ4 어떤 유형의 OSINT 소스가 취약점 관련 텍스트 데이터 수집에 가장 신뢰성 있고 크롤링 가능한가?
• RQ5 다양한 딥러닝 모델이 개별 CVSS 벡터 구성 요소와 종합적인 심각도 점수 예측에 어떻게 성능을 내는가?

주요 결과

• 연구는 NVD 항목에서 11,738개의 고유한 URL을 성공적으로 식별하고, 콘텐츠와 이용 가능성 기준으로 12개의 서로 다른 카테고리로 분류하였다.
• 광범위한 스크래핑과 OSINT 텍스트 통합에도 불구하고, 추가 데이터가 모델 성능 향상에 통계적으로 유의미한 영향을 주지 못했다.
• NVD 설명만을 사용한 경우, DistilBERT 기반 모델이 Desc2022 테스트 세트에서 평균 절대오차(MAE) 0.203으로 최신 기술 수준의 결과를 달성하였다.
• NVD와 OSINT 텍스트를 결합해 훈련한 모델은 MAE 0.248을 기록했으며, NVD 전용 기준선보다 나아지지 않았다. 이는 이 설정에서 OSINT의 명백한 이점이 없음을 시사한다.
• 결과는 OSINT 자료가 훈련에 사용 가능하나, 노이즈가 많고 일관성 없는 성격이 모델 정확도에 영향을 제한할 수 있음을 시사한다.
• 연구는 OSINT의 잠재력을 실현하기 위해 더 나은 텍스트 필터링 및 도메인 특화 미사전훈련이 필요하다고 강조한다.