[논문 리뷰] Automated CVE Analysis for Threat Prioritization and Impact Prediction

Ehsan Aghaei, Ehab Al‐Shaer외 2명|arXiv (Cornell University)|2023. 09. 06.

Information and Cyber Security인용 수 5

한 줄 요약

이 논문은 구조화되지 않은 취약성 기술을 사용하여 CVSS 벡터 예측과 CWE 분류를 자동화하는 도메인 특화 언어 모델 기반 도구인 CVEDrill을 소개한다. CVSS 예측에서 83%의 정확도와 CWE 분류에서 82%의 정확도를 달성하여 각각 ChatGPT의 59%와 56%를 뛰어넘으며, 더 빠르고 정확한 위협 우선순위 정하기 및 대응 계획 수립을 가능하게 한다.

ABSTRACT

The Common Vulnerabilities and Exposures (CVE) are pivotal information for proactive cybersecurity measures, including service patching, security hardening, and more. However, CVEs typically offer low-level, product-oriented descriptions of publicly disclosed cybersecurity vulnerabilities, often lacking the essential attack semantic information required for comprehensive weakness characterization and threat impact estimation. This critical insight is essential for CVE prioritization and the identification of potential countermeasures, particularly when dealing with a large number of CVEs. Current industry practices involve manual evaluation of CVEs to assess their attack severities using the Common Vulnerability Scoring System (CVSS) and mapping them to Common Weakness Enumeration (CWE) for potential mitigation identification. Unfortunately, this manual analysis presents a major bottleneck in the vulnerability analysis process, leading to slowdowns in proactive cybersecurity efforts and the potential for inaccuracies due to human errors. In this research, we introduce our novel predictive model and tool (called CVEDrill) which revolutionizes CVE analysis and threat prioritization. CVEDrill accurately estimates the CVSS vector for precise threat mitigation and priority ranking and seamlessly automates the classification of CVEs into the appropriate CWE hierarchy classes. By harnessing CVEDrill, organizations can now implement cybersecurity countermeasure mitigation with unparalleled accuracy and timeliness, surpassing in this domain the capabilities of state-of-the-art tools like ChaptGPT.

연구 동기 및 목표

• 수동 CVE 분석으로 인한 사이버보안 분야의 핵심적 병목 현상인 느린 속도, 오류 발생 가능성, 자원 소모 문제를 해결하기 위해.
• 표준 CVE 기술서에 공격 의미 정보가 부족하여 정확한 위협 영향 평가 및 약점 특성 기술에 어려움이 존재하는 문제를 해결하기 위해.
• CVSS 벡터 예측과 CWE 계층 구조 클래스 분류를 자동화하여 확장 가능하고 정확한 위협 우선순위 정하기를 가능하게 하기 위해.
• 일반 목적의 LLM들인 ChatGPT보다 정확도와 효율성 면에서 뛰어나고 경량이며 도메인 특화된 솔루션을 개발하기 위해.

제안 방법

• 사이버보안 텍스트에 맞춰 미세조정된 도메인 특화 언어 모델을 활용하여 구조화되지 않은 CVE 기술서를 해석하고 의미적 특징을 추출하기 위해.
• CVE 텍스트 기술서에서 직접 기반, 일시적, 환경적 지표를 포함한 전체 CVSS 벡터를 추정하는 예측 모델을 훈련하기 위해.
• 약점의 의미적 계층을 유지하면서 CVE를 적절한 CWE 클래스에 할당하기 위해 계층적 분류 시스템을 구현하기 위해.
• 전이 학습과 프롬프트 엔지니어링을 활용하여 최소한의 미세조정으로도 새로운 CVE에 대해 일반화 능력을 향상시키기 위해.
• CVSS 예측기와 CWE 분류기를 통합하여 종단 간 자동 취약성 분석을 위한 유일한 도구인 CVEDrill로 통합하기 위해.
• 저지연성과 저비용을 확보하여 실무 보안 운영 환경에서의 실용적 구현을 보장하기 위해 모델 추론을 최적화하기 위해.

실험 결과

연구 질문

• RQ1 구조화되지 않은 CVE 기술서에서 수동 입력 없이 도메인 특화 언어 모델이 전체 CVSS 벡터를 정확하게 예측할 수 있는가?
• RQ2 기존 방법에 비해 자동화된 CVE의 계층적 CWE 분류 체계는 얼마나 효과적인가?
• RQ3 CVEDrill이 ChatGPT와 같은 일반 목적의 LLM에 비해 CVSS 예측 및 CWE 분류 정확도에서 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 다양한 취약성 유형과 기술서를 유지하면서도 CWE의 의미적 계층을 유지하는 데 모델이 높은 정확도를 유지를 할 수 있는가?
• RQ5 자동화된 파이프라인은 취약성 우선순위 정하기 및 대응 계획 수립에 소요되는 시간과 인간의 노력이 얼마나 줄어들게 하는가?

주요 결과

• CVEDrill은 무작위로 선정된 100개의 CVE에 대해 전체 CVSS 벡터 예측 평균 정확도가 83%를 기록했으며, 이는 ChatGPT의 59%보다 뚜렷이 뛰어났다.
• 도구는 동일한 테스트 세트에서 CVE를 적절한 CWE 클래스에 올바르게 분류하는 데 82%의 정확도를 보였으며, 이는 ChatGPT의 56%를 초월했다.
• 모델은 CWE의 계층적 구조를 성공적으로 유지하여 더 정밀하고 의미적으로 유의미한 취약성 분류를 가능하게 했다.
• CVEDrill은 수동 CVE 분석의 필요성을 줄여, 사전적 위협 우선순위 정하기 및 대응 워크플로우에서의 주요 병목 현상을 제거했다.
• 도메인 특화 미세조정 덕분에 일반 목적의 LLM보다 정밀도가 높고 추론 비용이 낮아져 실무 환경에 적합한 솔루션이 되었다.
• 다양한 취약성 유형에 대해 뚜렷한 성능 일관성을 보였으며, 구조화되지 않은 제품 중심의 CVE 기술서에 대해서도 안정적인 성능을 발휘했다.