[論文レビュー] Cleaning the NVD: Comprehensive Quality Assessment, Improvements, and Analyses

Afsah Anwar, Ahmed Abusnaina+3 more|arXiv (Cornell University)|Jun 26, 2020

Information and Cyber Security被引用数 8

ひとこと要約

本論文は、National Vulnerability Database (NVD) における深刻なデータ品質問題を特定・是正し、ベンダーや製品名の不一致、正確でない公開日、不適切なCVSS v3深刻度スコア、誤分類された脆弱性タイプを含む。ウェブスクレイピング、手動検証、ディープラーニングを活用して、元のデータに顕著な乖離が見られる、洗練されたより正確なNVDデータセットを生成した。これにより、研究者や実務家によるセキュリティトレンド分析の信頼性が向上し、意思決定が改善された。

ABSTRACT

Vulnerability databases are vital sources of information on emergent software security concerns. Security professionals, from system administrators to developers to researchers, heavily depend on these databases to track vulnerabilities and analyze security trends. How reliable and accurate are these databases though? In this paper, we explore this question with the National Vulnerability Database (NVD), the U.S. government's repository of vulnerability information that arguably serves as the industry standard. Through a systematic investigation, we uncover inconsistent or incomplete data in the NVD that can impact its practical uses, affecting information such as the vulnerability publication dates, names of vendors and products affected, vulnerability severity scores, and vulnerability type categorizations. We explore the extent of these discrepancies and identify methods for automated corrections. Finally, we demonstrate the impact that these data issues can pose by comparing analyses using the original and our rectified versions of the NVD. Ultimately, our investigation of the NVD not only produces an improved source of vulnerability information, but also provides important insights and guidance for the security community on the curation and use of such data sources.

研究の動機と目的

• National Vulnerability Database (NVD) のデータ品質問題を体系的に評価すること。NVDは脆弱性情報の事実上の標準である。
• 脆弱性公開日、ベンダーや製品名、CVSS v3深刻度スコア、脆弱性タイプ分類といった重要なフィールドにおける不一致を特定すること。
• NVDにおけるこれらのデータ品質問題を検出し是正する、自動的かつスケーラブルな手法を開発すること。
• 事例研究を通じて、データ品質がセキュリティ分析に与える実世界の影響を示すこと。元のNVDデータと洗練済みデータを比較する。
• 洗練済みデータセットと是正ツールをセキュリティコミュニティおよびNISTに共有し、NVDの長期的改善を図ること。

提案手法

• NVDエントリにリンクされた参照URLから、公開日を抽出するためのマルチソースウェブスクレイピングを実施。85%のURLに対してドメインレベル分析を重点的に行った。
• キュレートされたマッピングデータベースを活用したベンダーおよび製品名の一貫性ツールを開発。CPE名の不一致を検出し、是正した。
• 脆弱性の説明および技術的メタデータを用いて、CVSS v3.1深刻度スコアを予測・是正するためのディープラーニングモデルを構築した。
• 自動是正の正確性を評価し、モデルを最適化するために、代表的なエントリのサンプルを手動で検証した。
• 是正済みフィールドを用いてNVDデータセットを再構築し、時系列的トレンド、深刻度分布、脆弱性タイプに関する比較分析を実施した。
• NISTに洗練済みデータセットとツールを共有し、自由入力形式のベンダーおよび製品フィールドを廃止するNVDスキーマの更新を実現した。

実験結果

リサーチクエスチョン

• RQ1 NVDにおける脆弱性公開日は、実際の公開日と比べてどの程度正確か？
• RQ2 ベンダーおよび製品名の不一致は、NVDの信頼性と利用可能性にどの程度影響を及えるか？
• RQ3 CVSS v3.1深刻度スコアの欠陥は、リスク優先順位付けや是正意思決定にどのように影響を及えるか？
• RQ4 脆弱性タイプ分類におけるデータ品質問題は、脆弱性トレンド理解をどの程度歪めているか？
• RQ5 セキュリティ研究や運用において、元のNVDデータと洗練済み・是正済みバージョンを使用する際の実務的影響は何か？

主な発見

• 公開日とNVD公開日の平均遅延は47.6～66.8日であり、脆弱性の深刻度とは相関がなかった。これは、データインジェストに係る体系的遅延を示している。
• ベンダーおよび製品名の不一致は広範にわたり、買収タイムラインの統合と標準化された命名ルールの導入により、不一致の下限推定値を低減可能である。
• 是正済みのCVSS v3.1スコアは、深刻度レベルにわたるよりバランスの取れた分布を示し、リスク評価の整合性と信頼性が向上した。
• 洗練済みデータセットは、元のNVDに記載のない追加の脆弱性タイプを同定し、分類の正確性を向上させた。
• 事例研究では、公開日とNVDエントリの公開日に関する時系列分析から、以下のパターンが判明した。公開は週の初め（月・火）に集中するが、NVDエントリは週末にかけて遅れて公開される。このため、是正期間の推定が影響を受ける。
• 本研究の知見は、NISTがNVDスキーマを更新し、自由入力形式のベンダーおよび製品フィールドを廃止するに至らせ、今後のデータ品質問題の低減に寄与した。