[논문 리뷰] CVE-driven Attack Technique Prediction with Semantic Information Extraction and a Domain-specific Language Model

Ehsan Aghaei, Ehab Al‐Shaer|arXiv (Cornell University)|2023. 09. 06.

Information and Cyber Security인용 수 6

한 줄 요약

이 논문은 CVE와 관련된 MITRE ATT&CK 기법을 대규모 자동 주석 처리된 데이터셋에 맞춰 미세조정한 도메인 특화 언어 모델(TTPpredictor, SecureBERT)을 제안한다. 비구조화된 보고서에서 의미 역할 레이블링(Semantic Role Labeling, SRL)을 활용해 위협 행동(SVO, 주어-동사-목적어)을 추출하고, 동사-목적어 매칭을 통해 ATT&CK의 功能과 연관지켜, CVE를 TTP로 분류하는 데 98%의 정확도와 95–98%의 F1 스코어를 달성한다. 이는 ChatGPT조차도 능가하는 성능이다.

ABSTRACT

This paper addresses a critical challenge in cybersecurity: the gap between vulnerability information represented by Common Vulnerabilities and Exposures (CVEs) and the resulting cyberattack actions. CVEs provide insights into vulnerabilities, but often lack details on potential threat actions (tactics, techniques, and procedures, or TTPs) within the ATT&CK framework. This gap hinders accurate CVE categorization and proactive countermeasure initiation. The paper introduces the TTPpredictor tool, which uses innovative techniques to analyze CVE descriptions and infer plausible TTP attacks resulting from CVE exploitation. TTPpredictor overcomes challenges posed by limited labeled data and semantic disparities between CVE and TTP descriptions. It initially extracts threat actions from unstructured cyber threat reports using Semantic Role Labeling (SRL) techniques. These actions, along with their contextual attributes, are correlated with MITRE's attack functionality classes. This automated correlation facilitates the creation of labeled data, essential for categorizing novel threat actions into threat functionality classes and TTPs. The paper presents an empirical assessment, demonstrating TTPpredictor's effectiveness with accuracy rates of approximately 98% and F1-scores ranging from 95% to 98% in precise CVE classification to ATT&CK techniques. TTPpredictor outperforms state-of-the-art language model tools like ChatGPT. Overall, this paper offers a robust solution for linking CVEs to potential attack techniques, enhancing cybersecurity practitioners' ability to proactively identify and mitigate threats.

연구 동기 및 목표

• CVE 기술 설명과 MITRE ATT&CK TTP 간의 의미적 격차를 해소하여 어휘 및 맥락이 일치하지 않는 문제를 해결한다.
• CVE-to-TTP 분류 모델을 훈련하기 위한 레이블링된 데이터셋이 부족한 문제를 해결하기 위해 대규모 자동 주석 처리된 데이터셋을 구축한다.
• CVE-TTP 매핑에 맞춰 미세조정된 도메인 특화 언어 모델(SecureBERT)을 개발하여 분류 성능을 향상시킨다.
• 의미 역할 레이블링과 기능 매핑을 통해 비구조화된 보고서에서 CVE를 특정 ATT&CK 기법으로 정확하고 자동으로 분류할 수 있도록 한다.
• 도메인 특화 적응과 의미 이해를 통해 일반 목적의 LLM인 ChatGPT보다도 CVE-to-TTP 분류 정확도에서 뛰어난 성능을 내도록 한다.

제안 방법

• 비구조화된 사이버 위협 보고서에서 의미 역할 레이블링(Semantic Role Labeling, SRL)을 활용해 위협 행동(SVO, 주어-동사-목적어 삼중조)을 추출한다.
• 추출된 SVO를 MITRE ATT&CK 위협 기능 클래스와 동사-목적어(VO) 쌍 매칭을 통해 연관지어, CVE를 TTP로 자동 레이블링한다.
• 맥락 인식 가능한 SVO 레이블링과 기능 매핑을 통해 CVE 기술 설명과 TTP를 연결한 대규모 반복적이고 정교화된 데이터셋을 구축한다.
• CVE와 TTP 간의 의미적 및 범주적 관계를 학습하기 위해, 주석 처리된 데이터셋에 맞춰 도메인 특화 언어 모델인 SecureBERT를 미세조정한다.
• 100,000+개의 위협 문장 코퍼스를 대상으로 반복적인 정밀화를 통해 데이터 품질 향상과 모델 일반화 능력을 향상시킨다.
• SVO 표현에 맥락적 속성(예: 방식, 목적)을 통합하여 분류의 의미 정밀도를 향상시킨다.

실험 결과

연구 질문

• RQ1 의미 역할 레이블링(SRL)은 비구조화된 CVE 및 위협 보고서에서 실행 가능한 위협 표현(SVO)을 효과적으로 추출할 수 있는가?
• RQ2 추출된 SVO와 MITRE ATT&CK 기법 간의 동사-목적어(VO) 매칭을 통해 CVE를 TTP로 정확하고 자동으로 레이블링할 수 있는가?
• RQ3 자동 주석 처리된 데이터에 맞춰 미세조정된 도메인 특화 언어 모델(SecureBERT)은 고정확도의 CVE-to-TTP 분류를 달성할 수 있는가?
• RQ4 제안된 TTPpredictor 모델의 성능은 ChatGPT와 같은 최신 일반 목적 LLM과 비교해 어떻게 다른가?
• RQ5 의미적 맥락(예: 목적, 방식)의 통합은 TTP 예측 정밀도를 어느 정도 향상시키는가?

주요 결과

• TTPpredictor는 해당하는 MITRE ATT&CK 기법으로의 CVE 분류에서 평균 약 98%의 정확도를 달성했다.
• 다양한 TTP 카테고리에서 F1 스코어가 95%에서 98% 사이로 유지되어 강력하고 일관된 성능을 보였다.
• 직접 비교한 결과, TTPpredictor는 동일한 분류 과제에서 단지 20%의 정확도를 기록한 ChatGPT를 능가했다.
• 100,000+개의 위협 문장 코퍼스를 대상으로 한 반복적 정밀화 과정이 데이터 품질 향상과 모델 일반화 능력 향상에 크게 기여했다.
• SRL을 활용해 SVO를 추출하고 ATT&CK 기능과 매핑함으로써 수작업 주석 처리 없이 대규모 자동 주석 처리된 데이터셋을 구축할 수 있었다.
• 이 데이터셋에 대해 SecureBERT를 미세조정함으로써 이전 방법에 비해 뛰어난 성능을 달성했으며, 이는 이전 연구에서 작은 훈련 세트와 낮은 F1 스코어(예: 47.84%) 문제로 어려움을 겪었던 것과 대비된다.