[論文レビュー] An Independent Validation of Vulnerability Discovery Models

Viet Hung Nguyen, Fabio Massacci|arXiv (Cornell University)|Mar 26, 2012

Software Reliability and Analysis Research参考文献 11被引用数 4

ひとこと要約

本稿は、Firefox、Chrome、IEの17回のブラウザリリースにおいて、異なる脆弱性基準で定義された5つのデータセットを用いて、6つの脆弱性発見モデル（VDM）を独立して検証した。AML（Alhazmi & Malaiyaのロジスティック）モデルが優れた性能を示した一方、Anderson熱力学（AT）モデルは完全に失敗し、脆弱性発見が一般のソフトウェア信頼性モデリングとは根本的に異なることが示された。これは、セキュリティ欠陥の発見に高い動機付けが働くからである。

ABSTRACT

Having a precise vulnerability discovery model (VDM) would provide a useful quantitative insight to assess software security. Thus far, several models have been proposed with some evidence supporting their goodness-of-fit. In this work we describe an independent validation of the applicability of six existing VDMs in seventeen releases of the three popular browsers Firefox, Google Chrome and Internet Explorer. We have collected five different kinds of data sets based on different definitions of a vulnerability. We introduce two quantitative metrics, goodness-of-fit entropy and goodness-of-fit quality, to analyze the impact of vulnerability data sets to the stability as well as quality of VDMs in the software life cycles. The experiment result shows that the "confirmed-by-vendors' advisories" data sets apparently yields more stable and better results for VDMs. And the performance of the s-shape logistic model (AML) seems to be superior performance in overall. Meanwhile, Anderson thermodynamic model (AT) is indeed not suitable for modeling the vulnerability discovery process. This means that the discovery process of vulnerabilities and normal bugs are different because the interests of people in finding security vulnerabilities are more than finding normal programming bugs.

研究の動機と目的

• 6つの既存の脆弱性発見モデル（VDM）が実際のソフトウェアライフサイクルに適用可能かどうかを評価すること。
• 脆弱性の定義の違いが、VDMのフィットの安定性と品質に与える影響を調査すること。
• VDMが、Webブラウザのような長寿命で進化を続けるソフトウェアにおける脆弱性発見プロセスを信頼性を持ってモデル化できるかどうかを評価すること。
• ソフトウェアセキュリティ計画におけるリソース配分を支援するのに最も適したVDMを特定すること。

提案手法

• 本研究では、異なる脆弱性定義に基づいて5つの異なるデータセットを収集した：元のNVDエントリ、ベンダーサービスのお墨付きが付いたNVDエントリ（NVD.Advice）、およびバグトラッキングシステムから導出された3つのバリエーション（例：ADVICE.Nbug）。
• 著者は、データセット間でのモデルの安定性と性能を定量的に評価するため、2つの新しい指標を導入した：フィットのエントロピーとフィットの品質。
• 6つのVDMは非線形最小二乗回帰（Rのnls()関数を用いて）でデータに適合させ、結果の妥当性を確認するため、CurveExpert Proを用いて交差検証を行った。
• バージョン固有のコードベースを考慮するため、各ブラウザリリースを独立したアプリケーションとして扱い、メジャーバージョンの変更に跨る集約を避けるようにした。
• 脆弱性発見イベントの分布が正規分布でないことを踏まえ、正規性の仮定を避けた適切な統計的検定を選択した。
• 一般化のため、Firefox、Chrome、Internet Explorerをカバーする複数のリリース・複数のブラウザを含むデータセットを用いた。

実験結果

リサーチクエスチョン

• RQ1 独立して検証された場合、複数のブラウザリリースにおいて、どの脆弱性発見モデルが最も優れた性能を示すか？
• RQ2 脆弱性の定義（例：NVDのみ vs. ベンダー確認済み）が、VDMのフィットの質と安定性に与える影響は何か？
• RQ3 信頼性ベースのモデル（例：Anderson熱力学（AT）モデル）は、実際のソフトウェアにおける脆弱性発見プロセスを正確に記述できるか？
• RQ4 VDMは、特にメジャーコードベースの変更が生じる場合でも、異なるブラウザバージョンで一貫して性能を示すか？
• RQ5 データセットの選択が、VDMの予測の質と信頼性の評価にどの程度影響を与えるか？

主な発見

• AML（Alhazmi & Malaiyaのロジスティック）モデルは、データセット間でのフィット品質と安定性の観点で、全体として最も優れた性能を示した。
• Anderson熱力学（AT）モデルは、すべてのケースで著しく劣った性能を示し、これは実世界の発見行動と一致しない仮定に基づくため、脆弱性発見のモデリングには不適切であることを示している。
• ベンダーの確認がなされたデータセットは、原始的なNVDエントリに比べてはるかに安定的で高品質なモデルフィットをもたらし、ベンダーの確認がデータの信頼性を向上させることを示唆している。
• AMLモデルの3段階構造（学習段階、線形発見段階、飽和段階）が、実際の脆弱性発見のダイナミクスを最もよく捉えている。
• コード継承を持つ長寿命のソフトウェア（例：Firefox）は複数の飽和期間を示すが、既存のVDMはこれをモデル化できず、このようなケースでのフィットが悪くなる理由が説明できる。
• 線形および指数関数的モデル（LN、RE、LP）は、発見が線形的傾向を示すリリースでは同等の性能を示すが、非線形的飽和段階をモデル化する柔軟性に欠ける。