[论文解读] Generating Informative CVE Description From ExploitDB Posts by Extractive Summarization

Jiamou Sun, Zhenchang Xing+5 more|arXiv (Cornell University)|Jan 5, 2021

Web Application Security Vulnerabilities参考文献 46被引用 15

一句话总结

本文提出了一种抽取式摘要方法，可从冗长且杂乱的 ExploitDB 帖子中自动生成准确、符合模板的 CVE 描述。通过利用命名实体识别（NER）和问答（QA）技术提取产品、漏洞类型、攻击向量等九个关键漏洞特征，该方法生成的 CVE 描述质量较高，ROUGE-L 得分为 0.38，显著有助于漏洞的及时且一致的文档化。

ABSTRACT

ExploitDB is one of the important public websites, which contributes a large number of vulnerabilities to official CVE database. Over 60\% of these vulnerabilities have high- or critical-security risks. Unfortunately, over 73\% of exploits appear publicly earlier than the corresponding CVEs, and about 40\% of exploits do not even have CVEs. To assist in documenting CVEs for the ExploitDB posts, we propose an open information method to extract 9 key vulnerability aspects (vulnerable product/version/component, vulnerability type, vendor, attacker type, root cause, attack vector and impact) from the verbose and noisy ExploitDB posts. The extracted aspects from an ExploitDB post are then composed into a CVE description according to the suggested CVE description templates, which is must-provided information for requesting new CVEs. Through the evaluation on 13,017 manually labeled sentences and the statistically sampling of 3,456 extracted aspects, we confirm the high accuracy of our extraction method. Compared with 27,230 reference CVE descriptions. Our composed CVE descriptions achieve high ROUGH-L (0.38), a longest common subsequence based metric for evaluating text summarization methods.

研究动机与目标

• 解决在 ExploitDB 上披露的漏洞中，CVE 文档化存在严重延迟和不完整的问题，其中超过 73% 的漏洞利用代码在官方 CVE 发布前已公开，近 40% 的漏洞完全缺乏 CVE 编号。
• 开发一种自动化方法，从非结构化、杂乱的漏洞利用帖子中提取结构化、信息丰富的 CVE 描述组件，以支持 CVE 申请流程。
• 通过识别并调和漏洞利用帖子与对应 CVE 条目之间的差异，确保 CVE 元数据的一致性与准确性。
• 构建一种可扩展的基于机器学习的解决方案，其在从自由文本漏洞描述中提取复杂漏洞特征方面优于现有方法。

提出的方法

• 应用命名实体识别（NER）技术，从漏洞利用帖子中提取特定于软件的实体，如存在漏洞的产品、版本和组件。
• 采用问答（QA）技术，从非结构化文本中识别并提取复杂语义片段，如根本原因、攻击向量、影响范围和漏洞类型。
• 根据标准化的 CVE 描述模板，将提取出的特征结构化，生成最终的 CVE 描述。
• 利用包含 13,017 个手动标注句子的大规模数据集，以及从 3,456 个提取特征中统计抽样的子集，进行模型训练与评估。
• 以 ROUGE-L 作为主要评估指标，将生成的 CVE 描述与 27,230 个参考 CVE 描述进行对比，评估生成质量。
• 设计一个“管理员机器人”（janitor bot），用于检测漏洞利用帖子与官方 CVE 之间的不一致之处（如攻击向量或漏洞类型不匹配），并支持修复。

实验结果

研究问题

• RQ1 在使用自然语言处理（NLP）技术时，能否从杂乱的、非结构化的 ExploitDB 帖子中准确提取关键漏洞特征？
• RQ2 所提出的抽取式摘要方法在生成与官方 CVE 描述模板一致的 CVE 描述方面表现如何？
• RQ3 与参考 CVE 描述相比，该方法在 ROUGE-L 指标上的表现如何？
• RQ4 漏洞利用帖子与其对应 CVE 条目之间的不一致现象有多普遍？能否系统性地检测并解决？
• RQ5 该方法能否有效支持对众包漏洞利用代码的 CVE 文档自动化？

主要发现

• 在将生成的 CVE 描述与 27,230 个参考描述进行对比时，该方法的 ROUGE-L 得分为 0.38，表明摘要质量优异。
• 对九个关键漏洞特征（如产品、版本、漏洞类型、攻击向量等）的提取表现出高准确性，该结果已在 13,017 个手动标注句子的评估中得到验证。
• 超过 73% 的 ExploitDB 漏洞利用代码在对应 CVE 发布前已公开，约 40% 的漏洞利用代码完全缺乏 CVE 编号，凸显了自动化文档支持的紧迫性。
• 漏洞利用帖子与官方 CVE 之间存在普遍的不一致现象（如攻击向量或漏洞类型不匹配），表明亟需自动化调和机制。
• 该方法在提取复杂漏洞语义片段方面优于现有方法，尤其体现在结合了面向软件安全文本定制的 NER 与 QA 技术。
• 该方法支持开发“管理员机器人”，可建议漏洞提交中缺失或不一致的特征，从而提升漏洞数据库中数据的质量与一致性。