[논문 리뷰] CySecBERT: A Domain-Adapted Language Model for the Cybersecurity Domain

Markus Bayer, Philipp Kuehn외 2명|TUbilio (Technical University of Darmstadt)|2022. 12. 06.

Topic Modeling인용 수 12

한 줄 요약

CySecBERT는 보안 분야에 특화된 어휘와 맥락을 이해하는 데에 일반 언어 모델의 한계를 보완하기 위해 정제된 정보보안 코퍼스를 기반으로 사전 훈련된 BERT 기반 언어 모델이다. 이 모델은 내재적이고 외재적인 정보보안 작업에서 일반 모델 및 관련 분야 전용 모델을 능가하며, 일반 언어 지식의 치명적 기억 상실 문제를 완화한다.

ABSTRACT

The field of cybersecurity is evolving fast. Experts need to be informed about past, current and - in the best case - upcoming threats, because attacks are becoming more advanced, targets bigger and systems more complex. As this cannot be addressed manually, cybersecurity experts need to rely on machine learning techniques. In the texutual domain, pre-trained language models like BERT have shown to be helpful, by providing a good baseline for further fine-tuning. However, due to the domain-knowledge and many technical terms in cybersecurity general language models might miss the gist of textual information, hence doing more harm than good. For this reason, we create a high-quality dataset and present a language model specifically tailored to the cybersecurity domain, which can serve as a basic building block for cybersecurity systems that deal with natural language. The model is compared with other models based on 15 different domain-dependent extrinsic and intrinsic tasks as well as general tasks from the SuperGLUE benchmark. On the one hand, the results of the intrinsic tasks show that our model improves the internal representation space of words compared to the other models. On the other hand, the extrinsic, domain-dependent tasks, consisting of sequence tagging and classification, show that the model is best in specific application scenarios, in contrast to the others. Furthermore, we show that our approach against catastrophic forgetting works, as the model is able to retrieve the previously trained domain-independent knowledge. The used dataset and trained model are made publicly available

연구 동기 및 목표

• BERT와 같은 일반 목적 언어 모델이 정보보안 전용 용어와 맥락을 이해하는 데에 한계가 있음을 해결한다.
• 학술 논문, 취약성 데이터베이스, 웹 컨텐츠, 소셜 미디어를 포함한 다양한 자료를 융합한 고품질이고 다양한 정보보안 데이터셋을 구축한다.
• 일반 언어 능력을 유지하면서도 정보보안 분야에 특화된 고도로 맞춤화된 일반 목적 언어 모델을 개발한다.
• 내재적 및 외재적 작업을 통해 모델의 성능을 평가하여 그 효과성과 강건성을 검증한다.
• 도메인 적응 과정에서 이전에 학습한 일반 언어 지식을 유지하기 위해 치명적 기억 상실을 최소화한다.

제안 방법

• 국립 취약성 데이터베이스, 학술 논문, 웹 페이지, 트위터 등을 포함한 다양한 출처로 구성된 대규모 정제된 정보보안 코퍼스를 기반으로 BERT 기반 모델을 사전 훈련한다.
• 도메인 전용 데이터를 활용해 모델의 표현을 미세조정하여 정보보안 전용 의미와 전문 용어를 더 잘 포착할 수 있도록 한다.
• 도메인 전용 코퍼스에서 표준 BERT 사전 훈련 목표(마스크 언어 모델링 및 다음 문장 예측)를 적용하여 구조적이고 의미적인 지식을 유지한다.
• 지속적 학습 전략을 도입하여 치명적 기억 상실을 방지하고, 초기 사전 훈련에서 확보한 일반 언어 능력을 유지한다.
• 내재적 작업(예: 단어 유사도, 어휘 유사성)과 외재적 작업(예: 시퀀스 태깅, 텍스트 분류)을 통해 모델을 평가한다.
• SuperGLUE와 같은 표준 벤치마크를 사용해 CySecBERT를 일반 BERT, 도메인 전용 모델, 기준 모델과 비교한다.

실험 결과

연구 질문

• RQ1 CySecBERT는 일반 모델 및 관련 도메인 전용 모델 대비 정보보안 분야에서 단어 표현 품질을 어느 정도 향상시키는가?
• RQ2 CySecBERT는 사이버 위협 정보 추출 및 분류와 같은 외재적 도메인 전용 NLP 작업에서 어떻게 성능을 발휘하는가?
• RQ3 도메인 적응 과정에서 일반 언어 지식의 치명적 기억 상실이 발생하는가, 그리고 이를 효과적으로 완화할 수 있는가?
• RQ4 기존 모델 대비 CySecBERT는 다양한 정보보안 NLP 작업에 얼마나 잘 일반화되는가?
• RQ5 제안된 데이터셋과 모델은 향후 정보보안 NLP 분야의 연구 및 실용적 응용을 위한 재사용 가능한 기반으로 기능할 수 있는가?

주요 결과

• CySecBERT는 15개의 내재적 및 외재적 정보보안 작업에서 최고 성능을 기록하며, 도메인 내에서 훨씬 뛰어난 단어 표현 품질을 입증한다.
• 시퀀스 태깅 및 텍스트 분류와 같은 외재적 작업에서 CySecBERT는 일반 BERT와 관련 정보보안 모델을 모두 능가하며, 특히 정보보안 전용 언어에서 뛰어난 성능을 보인다.
• 모델는 치명적 기억 상실이 최소한으로 발생하여 도메인 적응 후에도 SuperGLUE 벤치마크에서 뛰어난 성능을 유지함으로써 일반 언어 지식을 효과적으로 유지하고 있음을 확인했다.
• 내재적 평가 결과, CySecBERT는 기준 모델 대비 정보보안 용어에 대해 더 의미적으로 정확하고 맥락에 부합하는 표현을 학습하고 있음을 확인했다.
• 공개된 데이터셋과 모델는 재현 가능성을 보장하며, 정보보안 NLP 분야의 향후 연구를 촉진하는 데 기여한다.
• CySecBERT는 경고 집합, 피싱 탐지, 악성코드 분석와 같은 정보보안 파이프라인에 실용적으로 구현하기에 적합하며, 강건성과 도메인 특화성 덕분에 뛰어난 성능을 발휘한다.