[논문 리뷰] SecureBERT: A Domain-Specific Language Model for Cybersecurity

Ehsan Aghaei, Xi Niu외 2명|arXiv (Cornell University)|2022. 04. 06.

Cybercrime and Law Enforcement Studies인용 수 9

한 줄 요약

이 논문은 11억 단어 분량의 사이버보안 텍스트를 사용하여 맞춤형 토크나이저와 수정된 사전학습 가중치를 사용해 미세조정한 도메인 특화 언어 모델인 SecureBERT를 제안한다. 이 모델은 마스킹 언어 모델링, 명명된 실체 인식, 감성 분석에서 기존 모델들을 능가하며, 사이버보안 특화 언어와 의미를 이해하는 데 뛰어난 성능을 보인다.

ABSTRACT

Natural Language Processing (NLP) has recently gained wide attention in cybersecurity, particularly in Cyber Threat Intelligence (CTI) and cyber automation. Increased connection and automation have revolutionized the world's economic and cultural infrastructures, while they have introduced risks in terms of cyber attacks. CTI is information that helps cybersecurity analysts make intelligent security decisions, that is often delivered in the form of natural language text, which must be transformed to machine readable format through an automated procedure before it can be used for automated security measures. This paper proposes SecureBERT, a cybersecurity language model capable of capturing text connotations in cybersecurity text (e.g., CTI) and therefore successful in automation for many critical cybersecurity tasks that would otherwise rely on human expertise and time-consuming manual efforts. SecureBERT has been trained using a large corpus of cybersecurity text.To make SecureBERT effective not just in retaining general English understanding, but also when applied to text with cybersecurity implications, we developed a customized tokenizer as well as a method to alter pre-trained weights. The SecureBERT is evaluated using the standard Masked Language Model (MLM) test as well as two additional standard NLP tasks. Our evaluation studies show that SecureBERT\footnote{\url{https://github.com/ehsanaghaei/SecureBERT}} outperforms existing similar models, confirming its capability for solving crucial NLP tasks in cybersecurity.

연구 동기 및 목표

• 일반 목적 언어 모델이 사이버보안 특화 용어와 의미를 이해하는 데 한계가 있음을 해결하기 위해.
• 사이버 위협 지능(CTI) 텍스트를 효과적으로 처리할 수 있는 강력하고 도메인에 적합한 언어 모델을 개발하기 위해.
• 취약성 탐지, 피싱 식별, 침입 분석 등의 사이버보안 작업에서의 자동화를 향상시키기 위해.
• 표준 NLP 모델에서의 도메인 특화 동음이의어(예: 'patch', 'handshake') 및 희귀 사이버보안 용어로 인한 과제를 극복하기 위해.
• 사이버보안 응용 분야에 특화된 재사용 가능하고 고성능의 NLP 기초 모델을 만들기 위해.

제안 방법

• 다양한 사이버보안 자료(보고서, 연구 논문, 뉴스 기사 등)에서 확보한 총 11억 단어 분량의 대규모 코퍼스를 기반으로 RoBERTa 기반 아키텍처를 미세조정하였다.
• 표준 영어 토큰을 유지하면서도 사이버보안 특화 서브워드 및 OOV(Out-of-Vocabulary) 단어를 효과적으로 처리할 수 있도록 맞춤형 토크나이저를 설계하였다.
• 재훈련 중 무작위 노이즈를 도입하여 사전학습 가중치를 수정함으로써 일반화 능력과 도메인 적응 능력을 향상시켰다.
• 표준 NLP 벤치마크를 사용해 성능을 평가하였으며, 마스킹 언어 모델링(MLM), 명명된 실체 인식(NER), 감성 분석을 포함한다.
• NER 헤드를 완전히 연결된 신경망 레이어에 소프트맥스 활성화 함수를 적용하고, 교차 엔트로피 손실과 Adam 옵timizer를 사용해 3 에포크 동안 배치 크기 8로 훈련하였다.
• RoBERTa-base 가중치로 모델을 초기화하고 사이버보안 특화 작업에 대해 미세조정함으로써 전이 학습을 적용하였다.

실험 결과

연구 질문

• RQ1 사이버보안 텍스트로 훈련된 도메인 특화 언어 모델이 사이버 위협 관련 언어 이해에서 일반 목적 모델보다 뛰어난 성능을 보일 수 있는가?
• RQ2 맞춤형 토크나이저는 일반 영어와 사이버보안 특화 어휘를 모두 효과적으로 유지하는 데 얼마나 효과적인가?
• RQ3 사전학습 가중치를 수정함으로써 사이버보안 NLP 작업 성능 향상에 어느 정도 기여하는가?
• RQ4 SecureBERT는 사이버보안 특화 텍스트와 일반 영어 텍스트 입력 모두에 잘 일반화되는가?
• RQ5 SecureBERT는 사이버보안 도메인의 명명된 실체 인식 및 감성 분석에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• SecureBERT는 MalwareTextDB NER 벤치마크에서 F1 스코어 86.65를 기록하여 RoBERTa-base(86.20)와 SciBERT(84.49)를 모두 능가했다.
• 수정된 SecureBERT 버전은 재현율 88.10과 F1 스코어 86.65를 기록하여 희귀 또는 복잡한 실체에 대해 강력한 성능을 보였다.
• 표준 마스킹 언어 모델링(MLM) 작업에서 기존 모델들을 능가하며, 사이버보안 텍스트의 문맥적 의미 이해 능력 향상이 확인되었다.
• 모델는 'ransomware', 'keylogger', 'exfiltrate'와 같은 동음이의어 및 도메인 특화 용어를 효과적으로 처리하는 데 있어 뛰어난 탄력성을 보였다.
• 맞춤형 토크나이저는 표준 영어 토큰의 98%를 효과적으로 유지하면서도 사이버보안 특화 서브워드와 희귀 어휘를 효과적으로 인코딩하였다.
• 재훈련 중 무작위 노이즈 사용이 모델 일반화 능력을 향상시키고, 후속 작업 성능 향상에 기여하였다.