[论文解读] CVSS-BERT: Explainable Natural Language Processing to Determine the Severity of a Computer Security Vulnerability from its Description

Mustafizur R. Shahid, Hervé Debar|arXiv (Cornell University)|Nov 16, 2021

Information and Cyber Security参考文献 17被引用 4

一句话总结

该论文提出CVSS-BERT，一种可解释的NLP框架，利用微调后的BERT分类器直接从漏洞的文本描述中预测网络安全漏洞的CVSS基础向量和严重性评分。该模型在预测单个CVSS指标和严重性评分方面表现出高精度，通过基于梯度的显著性分析，识别出与专家推理一致的关键术语，提供人类可理解的解释。

ABSTRACT

When a new computer security vulnerability is publicly disclosed, only a textual description of it is available. Cybersecurity experts later provide an analysis of the severity of the vulnerability using the Common Vulnerability Scoring System (CVSS). Specifically, the different characteristics of the vulnerability are summarized into a vector (consisting of a set of metrics), from which a severity score is computed. However, because of the high number of vulnerabilities disclosed everyday this process requires lot of manpower, and several days may pass before a vulnerability is analyzed. We propose to leverage recent advances in the field of Natural Language Processing (NLP) to determine the CVSS vector and the associated severity score of a vulnerability from its textual description in an explainable manner. To this purpose, we trained multiple BERT classifiers, one for each metric composing the CVSS vector. Experimental results show that our trained classifiers are able to determine the value of the metrics of the CVSS vector with high accuracy. The severity score computed from the predicted CVSS vector is also very close to the real severity score attributed by a human expert. For explainability purpose, gradient-based input saliency method was used to determine the most relevant input words for a given prediction made by our classifiers. Often, the top relevant words include terms in agreement with the rationales of a human cybersecurity expert, making the explanation comprehensible for end-users.

研究动机与目标

• 自动化从漏洞描述中预测CVSS基础向量指标和严重性评分，减少对人工专家分析的依赖。
• 通过使用NLP实现近实时的严重性评估，缓解漏洞评分延迟问题。
• 通过基于梯度的显著性分析，识别漏洞描述中最具影响力的词语，确保模型决策的可解释性。
• 通过分析频繁关联的术语和二元短语，验证模型的解释是否与专家推理一致。
• 证明基于BERT的模型在保持可解释性的同时，能够准确预测CVSS指标，以满足网络安全从业者的需求。

提出的方法

• 为八个CVSS基础指标（如攻击向量、所需权限、用户交互）中的每一个微调独立的BERT分类器。
• 在包含漏洞描述及其真实CVSS指标值配对的数据集上训练每个分类器。
• 使用标准CVSS评分公式，从预测的向量计算最终的CVSS严重性评分。
• 应用基于梯度的输入显著性分析，识别每个预测中最具影响力的前5个输入标记（单词或子词）。
• 汇总每个类别下所有测试样本的显著性结果，识别与每个指标值最常关联的术语和二元短语。
• 将子词标记整合为有意义的词语（例如，'x'和'ss' → 'xss'），以提升解释的可读性。

实验结果

研究问题

• RQ1 基于BERT的分类器能否从漏洞描述中准确预测单个CVSS基础指标？
• RQ2 从预测的CVSS向量计算出的严重性评分与人工专家分配的真实评分有多接近？
• RQ3 基于梯度显著性识别出的最具影响力词语是否与人工网络安全专家使用的推理依据一致？
• RQ4 在数据集中，哪些术语和二元短语与特定CVSS指标值最一致地相关？
• RQ5 终端用户能否理解并验证模型的解释，认为其具有意义且可靠？

主要发现

• BERT分类器在预测每个CVSS基础指标时均表现出高精度，性能以预测置信度高于0.9的测试样本比例衡量。
• 从预测的CVSS向量计算出的严重性评分与人工专家提供的真实评分高度一致，表明模型具有强大的预测保真度。
• 每个预测的前5个显著性排名词语通常包含与专家推理一致的术语，例如在'相邻'攻击向量类别中出现'adjacent attacker'。
• 对于机密性影响指标，'information disclosure'一词与'高'类别的关联频繁，与专家理解一致。
• 术语'denial'和'crash'在可用性指标的'高'影响类别中持续关联，证实模型与专家逻辑的一致性。
• 二元短语如'network access'、'easily exploit'和'high privileged'被频繁识别为各自指标值的关键预测因子，进一步强化了模型的可解释性。