[論文レビュー] Automated CVE Analysis for Threat Prioritization and Impact Prediction

Ehsan Aghaei, Ehab Al‐Shaer+2 more|arXiv (Cornell University)|Sep 6, 2023

Information and Cyber Security被引用数 5

ひとこと要約

この論文では、非構造化な脆弱性記述を用いて、CVSSベクトル予測およびCWE分類を自動化するドメイン固有の言語モデルベースのツール、CVEDrillを紹介する。CVSS予測では83%の正確性、CWE分類では82%の正確性を達成し、それぞれChatGPTの59%および56%を上回っている。これにより、脅威の優先順位付けと対策計画の迅速化と正確化が可能になる。

ABSTRACT

The Common Vulnerabilities and Exposures (CVE) are pivotal information for proactive cybersecurity measures, including service patching, security hardening, and more. However, CVEs typically offer low-level, product-oriented descriptions of publicly disclosed cybersecurity vulnerabilities, often lacking the essential attack semantic information required for comprehensive weakness characterization and threat impact estimation. This critical insight is essential for CVE prioritization and the identification of potential countermeasures, particularly when dealing with a large number of CVEs. Current industry practices involve manual evaluation of CVEs to assess their attack severities using the Common Vulnerability Scoring System (CVSS) and mapping them to Common Weakness Enumeration (CWE) for potential mitigation identification. Unfortunately, this manual analysis presents a major bottleneck in the vulnerability analysis process, leading to slowdowns in proactive cybersecurity efforts and the potential for inaccuracies due to human errors. In this research, we introduce our novel predictive model and tool (called CVEDrill) which revolutionizes CVE analysis and threat prioritization. CVEDrill accurately estimates the CVSS vector for precise threat mitigation and priority ranking and seamlessly automates the classification of CVEs into the appropriate CWE hierarchy classes. By harnessing CVEDrill, organizations can now implement cybersecurity countermeasure mitigation with unparalleled accuracy and timeliness, surpassing in this domain the capabilities of state-of-the-art tools like ChaptGPT.

研究の動機と目的

• 手作業によるCVE分析がもたらすサイバーセキュリティ分野における深刻なボトルneckを解消すること。これは遅く、誤りが生じやすく、リソースを大量に要する。
• 標準的なCVE記述に攻撃の意味的情報が欠けていることによる課題を克服すること。これは、脅威の影響評価や弱みの特徴付けを正確に行うのを妨げる。
• CVSSベクトルの予測とCWE階層クラスへの分類を自動化することで、スケーラブルで正確な脅威の優先順位付けを可能にすること。
• 一般向けLLM（例：ChatGPT）を凌駕する正確性と効率性を備えた、軽量でドメイン特化型のソリューションを開発すること。

提案手法

• サイバーセキュリティのテキストに微調整されたドメイン特化型言語モデルを活用し、非構造的CVE記述を解釈し、意味的特徴を抽出する。
• CVEのテキスト記述から直接、Base、Temporal、Environmentalの各指標を含む完全なCVSSベクトルを推定する予測モデルを訓練する。
• 弱みの意味的階層を保持するように、CVEを適切なCWEクラスに分類する階層的分類システムを実装する。
• トランスファーラーニングとプロンプト工学を活用し、最小限の微調整で未観測CVEに対しても汎用性を高める。
• CVSS予測子とCWE分類器を統合し、エンドツーエンドの自動脆弱性分析を可能にする統合ツール「CVEDrill」を構築する。
• 低遅延かつ低コストなモデル推論を最適化し、本番環境での実用的導入を可能にする。

実験結果

リサーチクエスチョン

• RQ1 非構造的CVE記述から手動入力を一切不要に、ドメイン特化型言語モデルが完全なCVSSベクトルを正確に予測できるか？
• RQ2 既存手法と比較して、CVEの階層的CWE分類体系への自動分類はどの程度効果的か？
• RQ3 CVEDrillは、ChatGPTのような一般向けLLMと比較して、CVSS予測およびCWE分類の正確性でどの程度優れているか？
• RQ4 多様な脆弱性タイプや記述に対しても、CWEの意味的階層を保持したまま、高い正確性を維持できるか？
• RQ5 自動化パイプラインは、脆弱性の優先順位付けと対策計画に要する時間と人的作業をどの程度削減できるか？

主な発見

• CVEDrillは、ランダムに選択された100件のCVEに対して、全CVSSベクトル予測の平均正確度が83%に達し、ChatGPTの59%を顕著に上回った。
• 同テストセットにおいて、CVEを適切なCWEクラスに分類する正確度は82%を示し、ChatGPTの56%を上回った。
• モデルはCWEの階層構造を正常に保持しており、より正確で意味的に意味のある脆弱性分類が可能になった。
• CVEDrillのおかげで、手作業によるCVE分析の必要性が大幅に削減され、予防的脅威優先順位付けと対策ワークフローにおける主要なボトルneckが解消された。
• ドメイン特化型微調整により、一般向けLLMに比べて高い精度と低い推論コストが実現され、実世界での導入に適した。
• アプローチは多様な脆弱性タイプにわたり頑健であり、非構造的かつ製品指向のCVE記述に対しても一貫したパフォーマンスを示した。