[논문 리뷰] Automated Mapping of CVE Vulnerability Records to MITRE CWE Weaknesses

Ashraf Haddad, Najwa Aaraj외 2명|arXiv (Cornell University)|2023. 04. 13.

Network Security and Intrusion Detection인용 수 5

한 줄 요약

이 논문은 NLP를 활용하여 CVE 취약성 기록을 MITRE CWE 취약성 유형으로 자동 매핑하기 위한 인간-중심 프레임워크를 제안하며, 수작업으로 주석 처리된 4,012건의 기록을 포함한 새로운 데이터셋을 공개한다. 세분화된 SBERT 및 rankT5 모델이 BM25, BERT, RoBERTa보다 유의미하게 뛰어난 성능을 보이며, 취약성 분류 작업에서 깊이 있는 문맥 이해의 필요성을 입증한다.

ABSTRACT

In recent years, a proliferation of cyber-security threats and diversity has been on the rise culminating in an increase in their reporting and analysis. To counter that, many non-profit organizations have emerged in this domain, such as MITRE and OSWAP, which have been actively tracking vulnerabilities, and publishing defense recommendations in standardized formats. As producing data in such formats manually is very time-consuming, there have been some proposals to automate the process. Unfortunately, a major obstacle to adopting supervised machine learning for this problem has been the lack of publicly available specialized datasets. Here, we aim to bridge this gap. In particular, we focus on mapping CVE records into MITRE CWE Weaknesses, and we release to the research community a manually annotated dataset of 4,012 records for this task. With a human-in-the-loop framework in mind, we approach the problem as a ranking task and aim to incorporate reinforced learning to make use of the human feedback in future work. Our experimental results using fine-tuned deep learning models, namely Sentence-BERT and rankT5, show sizable performance gains over BM25, BERT, and RoBERTa, which demonstrates the need for an architecture capable of good semantic understanding for this task.

연구 동기 및 목표

• CVE 기록을 MITRE CWE 취약성 유형으로 매핑하기 위한 공개 가능하고 전문화된 데이터셋의 부족을 해결하기 위해.
• 표준화된 CWE 유형으로 취약성을 레이블링하는 데 인간 분석가를 지원하는 자동화된 AI 보조 프레임워크를 개발하기 위해.
• 반복적인 모델 성능 향상을 위해 인간 피드백으로부터의 강화 학습(RLHF)을 통합한 프로세스를 탐색하기 위해.
• 최신 딥러닝 모델이 사이버보안 텍스트에서 의미적 유사성 및 순위 매기기 작업에 얼마나 효과적인지 평가하기 위해.
• 향후 자동화된 사이버보안 보고서 연구를 지원하기 위해 재현 가능하고 오픈소스인 데이터셋과 주석 처리 파이프라인을 공개하기 위해.

제안 방법

• 각 CVE 기술서를 일련의 CWE 항목과 비교하여 순위를 매기는 문제로 CVE-에서-CWE 매핑 작업을 재구성한다.
• CVE와 CWE 기술서 간의 의미적 유사성을 위해 문장 변환 모델(SBERT)과 rankT5 모델을 미세조정한다.
• 어휘 매칭 기반으로 BM25를 문맥 매칭 기반의 기준 모델로 사용한다.
• 순위 매기기 작업에 최적화되지 않은 점을 감안해도, 의미적 유사성 평가의 기준 모델로 BERT와 RoBERTa를 사용한다.
• CVE 기술서에서 직접 CWE 레이블을 생성하기 위해 T5 기반의 시퀀스-투-시퀀스 모델을 훈련한다.
• 향후 인간 피드백으로부터의 강화 학습(RLHF) 통합을 지원하기 위해 인간-중심 피드백 메커니즘을 구현한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델은 전통적인 검색 방법인 BM25보다 비정형 CVE 기록을 구조화된 MITRE CWE 취약성 유형으로 매핑하는 데서 뛰어난 성능을 낼 수 있는가?
• RQ2 이 의미적 순위 매기기 작업에서 SBERT와 rankT5와 같은 트랜스포머 기반 모델은 BERT와 RoBERTa와 같은 일반 목적 모델보다 어떻게 비교되는가?
• RQ3 T5 기반의 시퀀스-투-시퀀스 모델은 CVE 기술서에서 직접 정확한 CWE 레이블을 얼마나 잘 생성할 수 있는가?
• RQ4 제안된 인간-중심 프레임워크는 전문가의 레이블링 결정과의 모델 일치도를 얼마나 효과적으로 향상시키는가?
• RQ5 취약성 및 취약성 유형 기술서 간 의미적 유사성 모델링에서 모델 아키텍처 선택이 성능에 미치는 영향은 어느 정도인가?

주요 결과

• 미세조정된 SBERT가 모든 모델 중에서 가장 높은 성능을 기록하였으며, 문장 유사성 전용 설계 덕분에 BM25, BERT, RoBERTa를 뚜렷이 앞서 갔다.
• rankT5 모델 역시 뛰어난 성능을 보이며, 이는 전용 순위 매기기 아키텍처가 이 작업에 효과적임을 시사한다.
• T5 기반의 시퀀스-투-시퀀스 모델은 생성된 CWE 레이블에 대해 매크로 평균 F1 스코어 0.51을 기록했으며, Cross-site Scripting과 같은 빈도가 높은 취약성에 대해 높은 정확도(0.96)를 보였다.
• 이전에 본 적 없는 7개의 CWE 유형에 대해 의미 있는 그러나 잘못된 레이블을 생성하여, 희귀 레이블에 대해 F1 스코어가 0이지만 생성 능력은 확보하고 있음을 보여주었다.
• 수작업으로 주석 처리된 4,012건의 기록을 포함한 데이터셋 공개는 사이버보안 NLP 연구 분야에서 중요한 격차를 메우며, 향후 벤치마크 및 모델 훈련을 가능하게 한다.
• 결과적으로, 어휘 매칭(BM25)만으로는 정확한 매핑을 달성하기 부족하므로, 이 작업에 의미적 이해가 필수적임을 확인한다.