[論文レビュー] CVSS-BERT: Explainable Natural Language Processing to Determine the Severity of a Computer Security Vulnerability from its Description

Mustafizur R. Shahid, Hervé Debar|arXiv (Cornell University)|Nov 16, 2021

Information and Cyber Security参考文献 17被引用数 4

ひとこと要約

本稿では、CVSSベースベクトルおよびサイバーセキュリティ脆弱性の深刻度スコアを、そのテキスト記述から直接予測するための説明可能なNLPフレームワーク、CVSS-BERTを提案する。モデルは個々のCVSSメトリクスと深刻度スコアの予測において高い正確性を達成しており、勾配に基づくサリエンシーにより、専門家が提示する根拠と整合する脆弱性記述内のキーワードを特定することで、人間が理解可能な説明を提供する。

ABSTRACT

When a new computer security vulnerability is publicly disclosed, only a textual description of it is available. Cybersecurity experts later provide an analysis of the severity of the vulnerability using the Common Vulnerability Scoring System (CVSS). Specifically, the different characteristics of the vulnerability are summarized into a vector (consisting of a set of metrics), from which a severity score is computed. However, because of the high number of vulnerabilities disclosed everyday this process requires lot of manpower, and several days may pass before a vulnerability is analyzed. We propose to leverage recent advances in the field of Natural Language Processing (NLP) to determine the CVSS vector and the associated severity score of a vulnerability from its textual description in an explainable manner. To this purpose, we trained multiple BERT classifiers, one for each metric composing the CVSS vector. Experimental results show that our trained classifiers are able to determine the value of the metrics of the CVSS vector with high accuracy. The severity score computed from the predicted CVSS vector is also very close to the real severity score attributed by a human expert. For explainability purpose, gradient-based input saliency method was used to determine the most relevant input words for a given prediction made by our classifiers. Often, the top relevant words include terms in agreement with the rationales of a human cybersecurity expert, making the explanation comprehensible for end-users.

研究の動機と目的

• 脆弱性記述からCVSSベースベクトルメトリクスおよび深刻度スコアを自動で予測し、人的な専門家分析への依存を減らす。
• NLPを用いて近似リアルタイムの深刻度評価を可能にすることで、脆弱性スコアリングの遅延を解消する。
• 勾配に基づくサリエンシーを用いて、脆弱性記述内の最も影響力のある語（単語またはサブワード）を同定することで、モデルの意思決定を解釈可能にする。
• 頻出する用語およびビグラムの分析を通じて、モデルの説明が専門家の推論と一致するかを検証する。
• BERTベースのモデルがCVSSメトリクスを正確に予測しつつ、サイバーセキュリティ実務者にとって解釈可能であることを示す。

提案手法

• 攻撃ベクトル、特権要件、ユーザー操作など、8つのCVSSベースメトリクスそれぞれに対して、別個の微調整済みBERT分類器を訓練する。
• 各分類器を、脆弱性記述とその正例CVSSメトリクス値のペアで構成されるデータセット上で学習する。
• 標準のCVSSスコーリング式を用いて、予測されたベクトルから最終的なCVSS深刻度スコアを計算する。
• 入力の勾配に基づくサリエンシーを適用し、各予測に対して最も影響力のある上位5つの入力トークン（語またはサブワード）を同定する。
• 各クラスごとにテストサンプル全体のサリエンシー結果を集約し、各メトリクス値と頻繁に関連する用語およびビグラムを特定する。
• 解釈性を向上させるために、サブワードトークンを意味のある語に再構成する（例：'x' と 'ss' → 'xss'）

実験結果

リサーチクエスチョン

• RQ1 BERTベースの分類器は、脆弱性記述から個々のCVSSベースメトリクスを正確に予測できるか？
• RQ2 予測されたCVSSベクトルから計算された深刻度スコアは、人的専門家が割り当てた正例スコアにどれほど近いか？
• RQ3 勾配に基づくサリエンシーで同定された最も影響力のある語は、人的サイバーセキュリティ専門家の根拠と一致するか？
• RQ4 データセット全体で特定のCVSSメトリクス値と一貫して関連する用語およびビグラムは何か？
• RQ5 エンドユーザーが意味的かつ信頼性があると認識できるように、モデルの説明は理解可能で検証可能か？

主な発見

• BERT分類器は、信頼度が0.9以上であるテストサンプルの割合を指標として測定した場合、各CVSSベースメトリクスの予測において高い正確性を達成した。
• 予測されたCVSSベクトルから計算された深刻度スコアは、人的専門家が提供した正例スコアと非常に近かったため、予測の忠実性が高く確認された。
• 各予測の上位5つのサリエンシー順位語には、専門家の推論と一致する語が多く含まれており、たとえば「隣接攻撃者」（adjacent attacker）は「隣接」（Adjacent）攻撃ベクトルクラスに該当する。
• 機密性影響メトリクスにおいて、「情報漏洩」（information disclosure）という語は「高」（High）クラスと頻繁に関連づけられ、専門家の理解と一致した。
• 「拒否」（denial）および「クラッシュ」（crash）という語は、可用性メトリクスの「高」（High）影響クラスと一貫して関連づけられ、モデルの専門家論理との整合性が裏付けられた。
• 「ネットワークアクセス」（network access）、「簡単に利用可能」（easily exploit）、「高特権」（high privileged）といったビグラムは、それぞれのメトリクス値の主要な予測要因として頻繁に同定され、モデルの解釈可能性が強化された。