[論文レビュー] My Software has a Vulnerability, should I worry?

Luca Allodi, Fabio Massacci|Zenodo (CERN European Organization for Nuclear Research)|Jan 7, 2013

Information and Cyber Security参考文献 22被引用数 52

ひとこと要約

本研究では、CVSSスコアおよび公開脆弱性データベースが、現実世界での利用可能性を信頼性を持って予測できるかを評価する。NVD、Exploit-DB、ブラックマーケットにおけるエクスプロイトキット（E KITS）を対象としたケースコントロール分析の結果、CVSSスコアのみではリスク予測が不十分であることが判明。高CVSSスコアに加えブラックマーケットでの存在がある場合にのみ、リスク低減が有意に得られ（61％）、標準的なCVSSスコアに基づくポリシーでは、最小限のセキュリティ向上（3–4％）にとどまる。

ABSTRACT

(U.S) Rule-based policies to mitigate software risk suggest to use the CVSS score to measure the individual vulnerability risk and act accordingly: an HIGH CVSS score according to the NVD (National (U.S.) Vulnerability Database) is therefore translated into a "Yes". A key issue is whether such rule is economically sensible, in particular if reported vulnerabilities have been actually exploited in the wild, and whether the risk score do actually match the risk of actual exploitation. We compare the NVD dataset with two additional datasets, the EDB for the white market of vulnerabilities (such as those present in Metasploit), and the EKITS for the exploits traded in the black market. We benchmark them against Symantec's threat explorer dataset (SYM) of actual exploit in the wild. We analyze the whole spectrum of CVSS submetrics and use these characteristics to perform a case-controlled analysis of CVSS scores (similar to those used to link lung cancer and smoking) to test its reliability as a risk factor for actual exploitation. We conclude that (a) fixing just because a high CVSS score in NVD only yields negligible risk reduction, (b) the additional existence of proof of concepts exploits (e.g. in EDB) may yield some additional but not large risk reduction, (c) fixing in response to presence in black markets yields the equivalent risk reduction of wearing safety belt in cars (you might also die but still..). On the negative side, our study shows that as industry we miss a metric with high specificity (ruling out vulns for which we shouldn't worry). In order to address the feedback from BlackHat 2013's audience, the final revision (V3) provides additional data in Appendix A detailing how the control variables in the study affect the results.

研究の動機と目的

• 公開脆弱性データベース（NVD、Exploit-DB）およびCVSSスコアが、実際の現場での脆弱性利用をどれだけ信頼性を持って予測できるかを評価すること。
• 高CVSSスコアに依存するルールベースのポリシーが、リスク低減において経済的に有効かどうかを調査すること。
• 白市場（Exploit-DB）とブラック市場（E KITS）におけるエクスプロイトの入手可能性が、SymantecのThreat Explorer（SYM）から得た現実世界の脆弱性利用データに対して、どれほど予測力を持つかを比較すること。
• CVSSサブメトリクスまたはプローフ・オブ・コンセプト（PoC）エクスプロイトの有無が、実際に利用されている脆弱性を信頼性のある統計的指標として特定できるかを同定すること。
• 異なる脆弱性市場において、CVSSが現実世界での利用可能性のリスク要因として、特異性と感度の両面でどれほど有効であるかを評価すること。

提案手法

• SymantecのThreat Explorer（SYM）を用いて、実際に利用された脆弱性のデータセットを構築し、基準となる事実として使用した。
• 3つの補完的データセットを収集・分析した：NVD（公開脆弱性データベース）、Exploit-DB（プローフ・オブ・コンセプトエクスプロイト）、E KITS（ブラックマーケットで取引されるエクスプロイト）。
• キーメトリクス（CVSSサブメトリクスやエクスプロイト特徴）とマッチングしたケースコントロールのランダム化実験を実施し、各データセット間の脆弱性特性を比較した。
• 条件付き確率モデリングを用いて、特定のCVSSスコアまたはエクスプロイトの有無がある条件下での実際の利用可能性の確率を評価した。
• 実際の利用状況に対するCVSSスコアとエクスプロイト有無の予測性能をベンチマークし、感度と特異度を測定した。
• 制御変数の追加分析を通じて、妥当性を検証した。BlackHat 2013のフィードバックを反映し、付録に拡張データを含めた。

実験結果

リサーチクエスチョン

• RQ1 NVD や Exploit-DB といった公開脆弱性データベースは、ソフトウェア脆弱性の実際の現場での利用をどれだけ正確に反映しているか。
• RQ2 CVSSスコアは、白市場およびブラック市場におけるエクスプロイトの有無と比較して、実際の現場での利用可能性をどれほど正確に予測できるか。
• RQ3 高CVSSスコアに依存するルールベースのポリシーは、現実世界での脆弱性利用リスク低減において経済的に有効か。
• RQ4 CVSSサブメトリクスまたはプローフ・オブ・コンセプトエクスプロイトの有無は、実際に利用されている脆弱性を信頼性を持って特定できるか。
• RQ5 ブラックマーケットにおける脆弱性の存在が、ユーザーが心配する必要がない98％の脆弱性を自信を持って除外できる統計的根拠を提供するか。

主な発見

• NVDにおける高CVSSスコアに基づく脆弱性修正は、実際のエクスプロイト防止においてほとんどリスク低減効果がなく、わずか3–4％の改善にとどまる。
• Exploit-DBにおけるプローフ・オブ・コンセプトエクスプロイトの存在は、追加で10％のリスク低減効果を示すが、広範なポリシー適用には統計的に信頼性が低い。
• 中程度以上に高いCVSSスコアを持つ脆弱性がブラックマーケットのエクスプロイトキット（E KITS）に掲載されている場合、パッチ適用により61％のリスク低減が達成され、強い予測力を持つことが示された。
• CVSSスコアは、ブラックマーケットでの存在と組み合わせられた場合にのみ、実際の利用可能性の検出能力（感度）を示すが、非脅威となる脆弱性を除外するための高い特異度を欠いている。
• NVD、Exploit-DB、E KITSのいかなるデータセットにおいても、ユーザーが心配する必要がない98％の脆弱性を自信を持って除外できる統計的根拠を提供していない。
• 本研究は、現在のCVSSベースのルールベースのポリシーは、高いコンプライアンスコストを要するにもかかわらず、それに見合ったセキュリティ向上を達成できないため、経済的に非効率であると結論づけた。