[論文レビュー] The (Un)Reliability of NVD Vulnerable Versions Data: an Empirical Experiment on Google Chrome Vulnerabilities

Viet Hung Nguyen, Fabio Massacci|arXiv (Cornell University)|Feb 17, 2013

Web Application Security Vulnerabilities被引用数 4

ひとこと要約

本論文は、Google Chromeの脆弱性に関するNational Vulnerability Database（NVD）の脆弱なバージョンデータの信頼性を、手動による検証実験を通じて評価している。その結果、検証可能なChrome脆弱性の約25％がNVDで誤って脆弱とラベル付けされていることが判明し、全体の誤り率は7％を超えている。これは、このデータに依存する実証的研究の妥当性を損なうものである。

ABSTRACT

NVD is one of the most popular databases used by researchers to conduct empirical research on data sets of vulnerabilities. Our recent analysis on Chrome vulnerability data reported by NVD has revealed an abnormally phenomenon in the data where almost vulnerabilities were originated from the first versions. This inspires our experiment to validate the reliability of the NVD vulnerable version data. In this experiment, we verify for each version of Chrome that NVD claims vulnerable is actually vulnerable. The experiment revealed several errors in the vulnerability data of Chrome. Furthermore, we have also analyzed how these errors might impact the conclusions of an empirical study on foundational vulnerability. Our results show that different conclusions could be obtained due to the data errors.

研究の動機と目的

• NVDの「脆弱なソフトウェアおよびバージョン」機能が、実証的脆弱性研究に広く用いられていることから、Google Chromeに対するその信頼性を評価すること。
• NVDが報告するChromeの脆弱なバージョンに含まれる誤り（誤検出および見逃し）を特定および定量すること。
• このようなデータ誤りが、特にNVDデータに依存する基礎的脆弱性研究の結論にどのように影響するかを評価すること。
• Firefox や Linux などの他のオープンソースソフトウェアに対しても適用可能な再現可能な検証手法を提供すること。
• NVD などの第三者データベースに依存することで、脆弱性研究におけるデータバイアスのリスクを浮き彫りにすること。

提案手法

• 著者らは、各NVDエントリが特定のChromeバージョンが脆弱であると主張しているかどうかを、実際のコードおよびリリース履歴を確認することで、手動で検証した。
• 検証プロセスの正確性を保証するため、繰り返しのテストと是正を含むマルチラウンドのテスト・フィックス手法を用いた。
• 外部プロジェクト（例：WebKit、V8）に起因する検証不能な脆弱性については、Chromeのイシュートラッカーからバグレポートのリンクを抽出し、外部プロジェクトのリビジョンにマッピングした。
• Chromeのソースリポジトリを調査することで、Chromeバージョンと外部コンponentの特定リビジョンとの間のマッピングを再構築した。
• 誤り率を計算するために統計解析を実施し、有意水準として5％の閾値を用いた。
• 本研究は、個々のChromeバージョンにわたる脆弱性主張の検証を、体系的かつ再現可能に行う方法を採用した。

実験結果

リサーチクエスチョン

• RQ1 NVDの『脆弱なバージョン』機能は、Google Chromeに対してどの程度真実を述べているのか？
• RQ2 NVDが報告するChromeの脆弱なバージョンにおける実際の誤り率はどの程度か？また、バージョンごとにどのように変動するか？
• RQ3 NVDの脆弱なバージョン機能におけるデータ誤りは、基礎的脆弱性に関する実証的研究の結論にどのように影響するか？
• RQ4 NVDの脆弱性データを他のオープンソースソフトウェア（例：Firefox や Linux）に対しても再現可能に検証できる手順を確立できるか？
• RQ5 NVDが報告するデータと実際の脆弱性状態との間に生じる乖離の根本的原因は何か？

主な発見

• NVDに記録された検証可能なChrome脆弱性の約25％が、誤って脆弱と報告されている。これは、データに著しい誤り率が存在することを示している。
• 未検証の脆弱性がすべて正しいと仮定しても、全体の誤り率は7％を超えている。これは5％の有意水準を大きく上回る。
• 本研究は、NVDが過去および未来のバージョンに対して誤って脆弱性を報告していることが判明した。誤検出および見逃しの両方が頻発している。
• このようなデータ誤りは、実証的脆弱性研究の妥当性を著しく脅かしており、特に利用可能性時間や実行可能性に関する誤った結論を導く可能性がある。
• Chrome脆弱性の約2分の1以上が、WebKit や V8 などの外部プロジェクトに起因しており、逆方向に解析が必要なため、検証不能である。
• 著者らは、バグレポートおよびソースコード解析を通じて、Chromeバージョンと外部プロジェクトのリビジョンを結びつけることで、NVDデータを検証する実用的で再現可能な手法を示した。