[论文解读] Automatic Labeling for Entity Extraction in Cyber Security

Robert A. Bridges, Corinne L. Jones+3 more|arXiv (Cornell University)|Aug 22, 2013

Topic Modeling参考文献 32被引用 74

一句话总结

本文提出一种自动化方法，通过利用结构化漏洞数据库（如 NVD、CVE）对非结构化文本描述进行标注，生成大规模、高质量的网络安全实体抽取训练数据。利用此自动标注语料，采用平均感知机训练的最大熵模型在领域特定实体上的性能接近完美（F1 > 99%），训练时间低于 17 秒，显著优于以往的手动标注方法。

ABSTRACT

Timely analysis of cyber-security information necessitates automated information extraction from unstructured text. While state-of-the-art extraction methods produce extremely accurate results, they require ample training data, which is generally unavailable for specialized applications, such as detecting security related entities; moreover, manual annotation of corpora is very costly and often not a viable solution. In response, we develop a very precise method to automatically label text from several data sources by leveraging related, domain-specific, structured data and provide public access to a corpus annotated with cyber-security entities. Next, we implement a Maximum Entropy Model trained with the average perceptron on a portion of our corpus ($\sim$750,000 words) and achieve near perfect precision, recall, and accuracy, with training times under 17 seconds.

研究动机与目标

• 为解决网络安全实体抽取缺乏大规模、领域特定训练数据的问题，该问题限制了监督学习的性能。
• 开发一种自动化、可扩展的方法，利用安全数据库中的相关结构化数据对非结构化文本（如博客文章、新闻）进行标注。
• 创建一个公开可用的、高质量的网络安全实体语料库，用于训练和基准测试 NLP 模型。
• 证明大规模自动生成的训练数据可实现网络安全相关文本实体抽取的最先进性能。
• 实现实体抽取系统对网络安全报告中语言趋势演变的高效、实时适应能力。

提出的方法

• 利用结构化网络安全数据库（NVD、CVE、OSVDB）作为标准答案，自动标注相关联的非结构化文本描述。
• 通过字符串匹配和启发式规则，将结构化数据库中的字段（如漏洞名称、CVE 编号、软件名称）映射到非结构化文本中的对应实体。
• 从超过 15,000 个 NVD 描述中构建一个大规模、公开可访问的自动标注网络安全文本语料库（约 750,000 个词）。
• 使用平均感知机算法和贪婪解码进行序列标注，训练最大熵模型。
• 采用 IOB 标注方案表示实体边界和领域特定标签（如 'VULN'、'SOFTWARE'、'CVE_ID'）。
• 使用标准 NLP 指标（精确率、召回率、F1、准确率）以及在不同数据规模下的训练时间来评估性能。

实验结果

研究问题

• RQ1 能否有效利用安全数据库中的结构化数据，自动标注非结构化文本以实现网络安全实体抽取？
• RQ2 与小型人工标注语料相比，自动标注的训练数据是否能显著提升网络安全 NER 的性能？
• RQ3 随着自动标注训练数据量的增加，模型性能如何变化？
• RQ4 像平均感知机这样的高效训练算法是否能在大规模网络安全文本上实现高精度且极短的训练时间？
• RQ5 该自动标注方法是否具备足够的鲁棒性和可扩展性，以支持对新安全披露内容的持续、实时标注？

主要发现

• 自动标注方法成功生成了一个公开可用的语料库，包含超过 15,000 个标注的 NVD 描述，总计约 750,000 个词。
• 在自动标注数据上训练的最大熵模型在领域特定实体标签上的 F1 分数超过 99%，精确率、召回率和准确率均超过 97%。
• 使用平均感知机算法，在 15,192 个 NVD 描述（超过 750,000 个词）上进行训练的时间少于 17 秒。
• 精确率、召回率、F1 和准确率等性能指标随着训练数据规模的增加而单调上升，表明具有强大的可扩展性。
• OpenNLP 实现的领域特定标注准确率优于 Python 实现，同时速度显著更快。
• 自动标注语料库使性能远超以往工作——具体而言，Joshi 等人使用仅为其约 1/30 大小的手动标注语料库（F1 = 0.799）相比，本研究中 F1 > 0.99。