[논문 리뷰] ThreatZoom: CVE2CWE using Hierarchical Neural Network

Ehsan Aghaei, Waseem Shadid외 1명|arXiv (Cornell University)|2020. 09. 24.

Software Engineering Research참고 문헌 10인용 수 8

한 줄 요약

ThreatZoom은 CVE 기술서술어에서 통계적 및 의미적 특징을 조합한 계층적 신경망을 사용하여 CVE를 CWE에 자동으로 분류하는 최초의 자동화된 시스템이다. 이 시스템은 NVD 데이터셋에서 92%의 세분화 정확도, MITRE 데이터셋에서 90%의 정확도를 기록하며, 많은 경우에서 수작업 분류보다 정밀도가 뛰어나다.

ABSTRACT

The Common Vulnerabilities and Exposures (CVE) represent standard means for sharing publicly known information security vulnerabilities. One or more CVEs are grouped into the Common Weakness Enumeration (CWE) classes for the purpose of understanding the software or configuration flaws and potential impacts enabled by these vulnerabilities and identifying means to detect or prevent exploitation. As the CVE-to-CWE classification is mostly performed manually by domain experts, thousands of critical and new CVEs remain unclassified, yet they are unpatchable. This significantly limits the utility of CVEs and slows down proactive threat mitigation. This paper presents the first automatic tool to classify CVEs to CWEs. ThreatZoom uses a novel learning algorithm that employs an adaptive hierarchical neural network which adjusts its weights based on text analytic scores and classification errors. It automatically estimates the CWE classes corresponding to a CVE instance using both statistical and semantic features extracted from the description of a CVE. This tool is rigorously tested by various datasets provided by MITRE and the National Vulnerability Database (NVD). The accuracy of classifying CVE instances to their correct CWE classes are 92% (fine-grain) and 94% (coarse-grain) for NVD dataset, and 75% (fine-grain) and 90% (coarse-grain) for MITRE dataset, despite the small corpus.

연구 동기 및 목표

• 수천 개의 CVE가 전문가의 수작업 기반 CVE-to-CWE 매핑에 의존함으로써 발생하는 사이버보안 분야의 핵심적 제약 요인을 해결하기 위해.
• 수작업 전문가 레이블에 의존하지 않고도 정확하게 CVE를 적절한 CWE 클래스에 할당함으로써, 패치되지 않은 취약성에 대한 대응 시간을 단축시킬 수 있는 자동화된 확장 가능한 솔루션을 개발하기 위해.
• 텍스트 분석 및 신경망을 활용하여 기존 수작업 노력보다 더 세밀한 CWE를 식별함으로써 분류의 세분화 수준을 향상시키기 위해.
• 자동화된 CWE 매핑을 통해 취약성의 근본 원인과 대응 전략에 대한 세부적이고 실행 가능한 통찰을 제공함으로써 사전적 사이버 방어를 가능하게 하기 위해.
• 실제 세계의 MITRE 및 NVD 데이터셋을 기반으로 시스템 성능을 검증하여 기존 분류 기준과의 일치성을 확보하기 위해.

제안 방법

• Th레트줌은 텍스트 분석 점수와 분류 오류를 기반으로 가중치를 동적으로 조정하여 예측 정확도를 향상시키는 계층적 신경망을 사용한다.
• CVE 기술서술어에서 통계적 특징(예: TF-IDF)과 의미적 특징(예: 워드 임베딩)을 추출하여 취약성의 의미를 표현한다.
• 모델은 CVE 기술서술어에 대해 엔드 투 엔드로 훈련되며, 저수준의 취약성 보고서를 계층적 분류 체계 내의 해당하는 CWE 클래스로 매핑하는 법을 학습한다.
• 시스템은 CWE 트리의 부모-자식 관계를 존중하는 다단계 분류 전략을 사용하여, 근본적인 분류와 세분화된 분류 모두를 가능하게 한다.
• MITRE의 분류 기준과 전문가가 애너테이션한 데이터셋을 활용하여 도메인 전문 지식을 통합하고 결과를 검증한다.
• 모델은 전이 학습과 점진적 업데이트를 지원하여 새로운 취약성 패tern과 변화하는 위협 환경에 적응할 수 있다.

실험 결과

연구 질문

• RQ1 수작업 전문가 레이블에 의존하지 않고도 고정확도의 CVE-to-CWE 분류를 달성할 수 있는가?
• RQ2 자동화된 계층적 신경망의 성능은 정밀도와 세분화 수준 측면에서 전문가 수준의 분류와 비교해 어떻게 되는가?
• RQ3 기존 수작업 분류 노력보다 모델이 얼마나 더 세밀한, 더 구체적인 CWE를 식별할 수 있는가?
• RQ4 MITRE와 NVD처럼 크기와 레이블 일관성에서 다름이 있는 다양한 데이터셋 간에 모델이 일반화할 수 있는가?
• RQ5 의미적 특징과 통계적 특징의 통합은 정확한 CWE 매핑을 위해 취약성의 근본 원인을 얼마나 잘 포착하는가?

주요 결과

• ThreatZoom은 NVD 데이터셋에서 92%의 세분화 정확도, MITRE 데이터셋에서 75%의 정확도를 기록하여 다양한 데이터 소스 간의 강력한 일반화 능력을 입증한다.
• 근본적인 분류의 경우, NVD에서 94%의 정확도, MITRE에서 90%의 정확도를 기록하여 더 넓은 CWE 카테고리 할당에 있어 높은 신뢰성을 보여준다.
• 47%의 경우에서 ThreatZoom은 MITRE보다 더 세분화된 CWE 분류를 제공하였고, 95%의 경우에서 NVD의 분류 깊이와 동일하거나 이를 초월하였다.
• 100개의 무작위로 선택된 CVE에 대한 수작업 검증 결과, ThreatZoom의 세분화 예측은 MITRE보다 36%의 경우, NVD보다 62%의 경우 더 정밀하고 의미적으로 정확하였다.
• 시스템은 SQL 인젝션에서의 잘못된 입력 중화 패턴과 같은 근본 원인 패턴을 성공적으로 식별하였으며, CVE-2004-0366을 정확하게 CWE-89(SQL 인젝션)로 매핑하고, 더 세분화된 하위 유형인 CWE-943(데이터 쿼리 또는 표현식 내 특수 요소의 잘못된 중화)까지 정확히 식별하였다.
• 특히 Windows 전용 취약성, 예를 들어 하드 링크 취약성(CWE-65)과 같은 경우에서, ThreatZoom은 MITRE의 더 넓은 분류보다 더 높은 정밀도로 CVE-2001-1386를 정확하게 분류하였다.