[論文レビュー] ThreatZoom: CVE2CWE using Hierarchical Neural Network

Ehsan Aghaei, Waseem Shadid+1 more|arXiv (Cornell University)|Sep 24, 2020

Software Engineering Research参考文献 10被引用数 8

ひとこと要約

ThreatZoom は、CVE 述語から CWE への分類を、統計的および意味的特徴を組み合わせた階層的ニューラルネットワークを用いて自動化する最初のシステムである。NVD データセットでは 92% の細分化精度、MITRE データセットでは 90% の精度を達成し、多くのケースで手動分類より特異性に優れている。

ABSTRACT

The Common Vulnerabilities and Exposures (CVE) represent standard means for sharing publicly known information security vulnerabilities. One or more CVEs are grouped into the Common Weakness Enumeration (CWE) classes for the purpose of understanding the software or configuration flaws and potential impacts enabled by these vulnerabilities and identifying means to detect or prevent exploitation. As the CVE-to-CWE classification is mostly performed manually by domain experts, thousands of critical and new CVEs remain unclassified, yet they are unpatchable. This significantly limits the utility of CVEs and slows down proactive threat mitigation. This paper presents the first automatic tool to classify CVEs to CWEs. ThreatZoom uses a novel learning algorithm that employs an adaptive hierarchical neural network which adjusts its weights based on text analytic scores and classification errors. It automatically estimates the CWE classes corresponding to a CVE instance using both statistical and semantic features extracted from the description of a CVE. This tool is rigorously tested by various datasets provided by MITRE and the National Vulnerability Database (NVD). The accuracy of classifying CVE instances to their correct CWE classes are 92% (fine-grain) and 94% (coarse-grain) for NVD dataset, and 75% (fine-grain) and 90% (coarse-grain) for MITRE dataset, despite the small corpus.

研究の動機と目的

• 数千もの CVE が専門家の手作業による CVE から CWE へのマッピングに依存するため、分類が行われないまま放置されているというサイバーセキュリティ分野の深刻なボトル neck を解消すること。
• 未パッチ適用の脆弱性の対処までの時間を短縮するために、正確に CVE を適切な CWE クラスに割り当てる、自動的かつスケーラブルなソリューションを開発すること。
• テキスト解析とニューラルネットワークを活用することで、従来の手作業による分類を上回る、より具体的な CWE を特定する、分類の粒度を向上させること。
• 自動 CWE マッピングにより、脆弱性の根本原因や是正戦略に関する詳細で実行可能なインサイトを提供することで、プロアクティブなサイバー防御を可能にすること。
• MITRE および NVD の実世界のデータセットを用いて、既存の分類基準と整合性を保った上で、システムの性能を検証すること。

提案手法

• ThreatZoom は、テキスト解析スコアと分類エラーに基づいて重みを動的に調整する階層的ニューラルネットワークを採用しており、予測精度を向上させている。
• CVE 述語から統計的特徴（例：TF-IDF）と意味的特徴（例：ワードエムベッディング）を抽出し、脆弱性の意味的特徴を表現している。
• モデルは、低レベルの脆弱性レポートから対応する CWE クラスにマッピングするため、CVE 述語を入力として、階層的分類ツリーに沿って学習を実行するエンドツーエンドの学習を実施している。
• CWE 樹形図における親子関係を尊重するマルチレベル分類戦略を採用しており、粗粒度および細粒度の両方の予測を可能としている。
• MITRE の分類基準と一致させることでドメイン固有の知識を統合し、専門家がアノテートしたデータセットを用いて結果を検証している。
• トランスファーラーニングとインクリメンタルアップデートをサポートするアーキテクチャを採用しており、新たな脆弱性パターンや変化する脅威環境に適応可能である。

実験結果

リサーチクエスチョン

• RQ1 手作業による専門家ラベルに依存せずに、CVE を CWE に高精度に分類する自動システムは実現可能か？
• RQ2 精度と粒度の観点から、自動階層的ニューラルネットワークの性能は、専門家レベルの分類と比べてどの程度優れているか？
• RQ3 従来の手作業による分類作業に比べて、モデルはどの程度より具体的な細粒度 CWE を特定できるか？
• RQ4 NVD や MITRE のような、サイズやラベル付けの一貫性に差がある多様なデータセットに対しても、モデルは一般化できるか？
• RQ5 意味的特徴と統計的特徴を統合することで、脆弱性の根本原因を正確に捉える CWE マッピングにどの程度寄与できるか？

主な発見

• ThreatZoom は NVD データセットで 92% の細分化分類精度、MITRE データセットで 75% の精度を達成し、異なるデータソース間での優れた一般化性能を示している。
• 粗粒度分類においては、NVD で 94%、MITRE で 90% の精度に達しており、広範な CWE カテゴリへの割り当てにおいて高い信頼性を示している。
• 47% のケースで、ThreatZoom は MITRE よりもより細分化された CWE 分類を提供しており、95% のケースで NVD の分類深さに匹敵またはそれを上回っている。
• ランダムに選択した 100 個の CVE を手作業で検証した結果、ThreatZoom の細分化予測は、MITRE よりも 36% のケース、NVD よりも 62% のケースでより正確かつ意味的に適切であった。
• システムは、SQL インジェクションにおける不適切な入力のノンタライズ化といった根本原因のパターンを正しく特定し、CVE-2004-0366 を CWE-89（SQL インジェクション）に正しくマッピングしたほか、CWE-943（データクエリまたは式における特別な要素の不適切なノンタライズ化）のようなより細分化されたサブタイプにも正確にマッピングした。
• 特に Windows 固有の脆弱性、たとえばハードリンク脆弱性（例：CWE-65）の特定において、ThreatZoom は MITRE よりも高い精度で CVE-2001-1386 を正しく分類しており、特異性において手作業分類を上回っている。