[论文解读] Learning Domain-Specific Word Embeddings from Sparse Cybersecurity Texts

Arpita Roy, Youngja Park+1 more|arXiv (Cornell University)|Sep 21, 2017

Topic Modeling参考文献 24被引用 32

一句话总结

本文提出了一种新颖的框架，通过将多样化的领域知识（如恶意软件类型、语义类别和关系）通过文本标注整合到词嵌入中，以在稀疏的网络与信息安全文本语料库中学习高质量、领域特定的词嵌入。Word and Annotation Embedding (WAE) 模型，特别是 JWAP 变体，在利用分层 Softmax 和丰富标注的前提下，显著优于最先进方法，在恶意软件和 CVE 数据集上的平均倒数排名（MRR）提高了 22–57%。

ABSTRACT

Word embedding is a Natural Language Processing (NLP) technique that automatically maps words from a vocabulary to vectors of real numbers in an embedding space. It has been widely used in recent years to boost the performance of a vari-ety of NLP tasks such as Named Entity Recognition, Syntac-tic Parsing and Sentiment Analysis. Classic word embedding methods such as Word2Vec and GloVe work well when they are given a large text corpus. When the input texts are sparse as in many specialized domains (e.g., cybersecurity), these methods often fail to produce high-quality vectors. In this pa-per, we describe a novel method to train domain-specificword embeddings from sparse texts. In addition to domain texts, our method also leverages diverse types of domain knowledge such as domain vocabulary and semantic relations. Specifi-cally, we first propose a general framework to encode diverse types of domain knowledge as text annotations. Then we de-velop a novel Word Annotation Embedding (WAE) algorithm to incorporate diverse types of text annotations in word em-bedding. We have evaluated our method on two cybersecurity text corpora: a malware description corpus and a Common Vulnerability and Exposure (CVE) corpus. Our evaluation re-sults have demonstrated the effectiveness of our method in learning domain-specific word embeddings.

研究动机与目标

• 为解决传统词嵌入模型（如 Word2Vec 和 GloVe）在稀疏、专业领域（如网络安全）中表现不佳的问题。
• 利用网络安全文本中可获取但未被充分利用的领域知识（如恶意软件类型、语义类别和关系）来提升词表示的质量。
• 开发一个统一且灵活的框架，将多种类型的领域知识编码为文本标注，以整合进词嵌入中。
• 设计并评估一种新颖的词与标注嵌入（Word and Annotation Embedding, WAE）算法，联合学习词和标注的表示。
• 在真实世界的网络安全数据集（包括恶意软件描述和 CVE 记录）上验证所提方法的有效性。

提出的方法

• 提出一种通用框架，用于将多样化的领域知识（如词汇、语义类别和关系）编码为结构化的文本标注。
• 词与标注嵌入（WAE）算法通过在训练过程中同时引入词和标注上下文，扩展了传统的 skip-gram 和 CBOW 模型。
• JWAP（联合词与标注预测）模型使用目标词来预测周围的词和标注，是对 skip-gram 模型的泛化。
• AAWP（标注与词预测）模型使用上下文词和标注来预测目标词，是对 CBOW 模型的泛化。
• 使用分层 Softmax 进行训练，以更好地捕捉罕见或低频领域术语之间的语义关系。
• 标注来源于现有元数据（如恶意软件类型），在嵌入学习过程中被视为额外的上下文。

实验结果

研究问题

• RQ1 将多样化的领域知识整合进词嵌入是否能提升在低资源、稀疏网络安全文本语料中的性能？
• RQ2 所提出的 WAE 模型在捕捉网络安全文本中的语义关系方面，与通用及领域特定的词嵌入基线模型相比表现如何？
• RQ3 在学习网络安全中罕见术语的嵌入时，分层 Softmax 是否优于负采样方法？
• RQ4 文档级嵌入或基于词汇的模型（如 Dis2Vec）在网络安全 NLP 任务中的性能提升程度如何？
• RQ5 模型性能对领域标注的一致性和质量敏感程度如何？

主要发现

• JWAP 模型在恶意软件数据集上实现了最高的 MRR（12%），相比次优基线模型（Retrofitting 和使用分层 Softmax 的 Skip-gram）提升了 57.14%。
• 在 CVE 数据集上，JWAP 模型的 MRR 达到 7%，相比次优模型（Retrofitting 和使用分层 Softmax 的 Skip-gram）提升了 22.22%。
• JWAP 模型始终优于 AAWP 模型和所有基线模型，表明从目标词预测上下文词和标注比反向预测更有效。
• 依赖文档级嵌入（如 Doc2Vec）或基于词汇的方法（如 Dis2Vec）的模型表现较差，表明在该上下文中其对语义关系学习的效用有限。
• 分层 Softmax 表现优于负采样，尤其在处理罕见术语时，因其能更有效地处理如唯一恶意软件名称等低频领域概念。
• 不一致的标注（如不同厂商对恶意软件类型的标签冲突）对模型性能产生负面影响，凸显了标注质量的重要性。