[논문 리뷰] Learning Domain-Specific Word Embeddings from Sparse Cybersecurity Texts

Arpita Roy, Youngja Park외 1명|arXiv (Cornell University)|2017. 09. 21.

Topic Modeling참고 문헌 24인용 수 32

한 줄 요약

이 논문은 텍스트 애너테이션을 통해 악성코드 유형, 의미적 카테고리 및 관계와 같은 다양한 도메인 지식을 통합함으로써 희소한 사이버보안 텍스트 코퍼스에서 고품질의 도메인 특화 단어 임베딩을 학습하는 새로운 프레임워크를 제안한다. 특히 JWAP 버전을 포함한 단어 및 애너테이션 임베딩(WAE) 모델은 계층적 소프트맥스와 풍부한 애너테이션을 활용하여, 악성코드 및 CVE 데이터셋에서 최신 기술 대비 평균 역수 순위(MRR)를 22–57% 향상시켰다.

ABSTRACT

Word embedding is a Natural Language Processing (NLP) technique that automatically maps words from a vocabulary to vectors of real numbers in an embedding space. It has been widely used in recent years to boost the performance of a vari-ety of NLP tasks such as Named Entity Recognition, Syntac-tic Parsing and Sentiment Analysis. Classic word embedding methods such as Word2Vec and GloVe work well when they are given a large text corpus. When the input texts are sparse as in many specialized domains (e.g., cybersecurity), these methods often fail to produce high-quality vectors. In this pa-per, we describe a novel method to train domain-specificword embeddings from sparse texts. In addition to domain texts, our method also leverages diverse types of domain knowledge such as domain vocabulary and semantic relations. Specifi-cally, we first propose a general framework to encode diverse types of domain knowledge as text annotations. Then we de-velop a novel Word Annotation Embedding (WAE) algorithm to incorporate diverse types of text annotations in word em-bedding. We have evaluated our method on two cybersecurity text corpora: a malware description corpus and a Common Vulnerability and Exposure (CVE) corpus. Our evaluation re-sults have demonstrated the effectiveness of our method in learning domain-specific word embeddings.

연구 동기 및 목표

• 기존의 Word2Vec 및 GloVe와 같은 전통적인 단어 임베딩 모델이 희소하고 전문화된 도메인, 예를 들어 사이버보안 분야에서 낮은 성능을 보이는 문제를 해결하기 위해.
• 사이버보안 텍스트에 존재하는 미사용된 도메인 지식—예를 들어 악성코드 유형, 의미적 카테고리 및 관계—을 활용하여 단어 표현 품질을 향상시키기 위해.
• 다양한 유형의 도메인 지식을 텍스트 애너테이션으로 표현하여 단어 임베딩에 통합할 수 있는 통합적이고 유연한 프레임워크를 개발하기 위해.
• 단어 및 애너테이션 표현을 공동으로 학습하는 새로운 단어 및 애너테이션 임베딩(WAE) 알고리즘을 설계하고 평가하기 위해.
• 실제 사이버보안 데이터셋—악성코드 설명 및 CVE 기록 포함—에서 제안된 방법의 효과성을 입증하기 위해.

제안 방법

• 다양한 도메인 지식—예를 들어 어휘, 의미적 카테고리 및 관계—을 구조화된 텍스트 애너테이션으로 인코딩하는 일반적 프레임워크를 제안한다.
• 단어 및 애너테이션 컨텍스트를 학습 중에 통합함으로써 기존 스킵그램 및 CBOW 모델을 확장한 단어 및 애너테이션 임베딩(WAE) 알고리즘을 개발한다.
• JWAP(Joint Word and Annotation Prediction) 모델은 대상 단어를 사용해 주변 단어와 애너테이션을 예측하며, 스킵그램 모델을 일반화한다.
• AAWP(Annotation and Word Prediction) 모델은 컨텍스트 단어와 애너테이션을 사용해 대상 단어를 예측하며, CBOW 모델을 일반화한다.
• 희귀 또는 저빈도 도메인 용어 간의 의미 관계를 더 잘 포착하기 위해 학습에 계층적 소프트맥스를 사용한다.
• 애너테이션은 악성코드 유형과 같은 기존 메타데이터에서 유도되며, 임베딩 학습 중 추가적인 컨텍스트로 간주된다.

실험 결과

연구 질문

• RQ1 다양한 도메인 지식을 단어 임베딩에 통합하면, 자원이 부족하고 희소한 사이버보안 텍스트 코퍼스에서 성능 향상이 이루어지는가?
• RQ2 제안된 WAE 모델은 일반 목적 및 도메인 특화 단어 임베딩 기준선 대비 사이버보안 텍스트에서 의미 관계를 얼마나 잘 포착하는가?
• RQ3 계층적 소프트맥스가 희귀 도메인 용어에 대한 임베딩 학습에서 음성 샘플링을 능가하는가?
• RQ4 문서 수준 임베딩 또는 어휘 기반 모델(예: Dis2Vec)은 사이버보안 NLP 작업에서 성능을 얼마나 향상시키는가?
• RQ5 모델 성능은 도메인 애너테이션의 일관성과 품질에 얼마나 민감한가?

주요 결과

• JWAP 모델은 악성코드 데이터셋에서 최고의 MRR 12%를 기록하여, 다음으로 좋은 기준선(리트로핏팅 및 계층적 소프트맥스를 사용한 스킵그램) 대비 57.14% 향상된 성과를 보였다.
• CVE 데이터셋에서 JWAP 모델은 MRR 7%를 기록하여, 다음으로 좋은 모델들(리트로핏팅 및 계층적 소프트맥스를 사용한 스킵그램) 대비 22.22% 향상된 성과를 보였다.
• JWAP 모델은 AAWP 모델 및 모든 기준선 모델을 일관되게 능가하여, 대상 단어에서 주변 단어와 애너테이션을 예측하는 것이 반대 방향보다 더 효과적임을 시사한다.
• 문서 수준 임베딩(예: Doc2Vec) 또는 어휘 기반 접근법(예: Dis2Vec)에 의존하는 모델들은 성능이 열악하여, 이 맥락에서 의미 관계 학습에 한계가 있음을 시사한다.
• 희귀 용어에 대해 계층적 소프트맥스가 음성 샘플링을 능가했으며, 고유한 악성코드 이름과 같은 저빈도 도메인 개념을 더 잘 다룰 수 있었기 때문이다.
• 불일치하는 애너테이션—예를 들어 다양한 벤더 간 악성코드 유형 레이블의 모순—은 모델 성능에 악영향을 미쳤으며, 이는 애너테이션 품질의 중요성을 강조한다.