[論文レビュー] Cost-aware Vulnerability Prediction: the HARMLESS Approach

Zhe Yu, Christopher Theisen+3 more|arXiv (Cornell University)|Mar 17, 2018

Software Engineering Research被引用数 5

ひとこと要約

HARMLESS は、コストを考慮したアクティブラーニングを用いた脆弱性予測ツールであり、インクリメンタルなサポートベクターマシンを用いて、セキュリティレビューの対象となるソースコードファイルを優先順位付けし、残りの脆弱性の推定値をもとに、望ましい再現率に達するようテストを誘導する。Firefoxの事例研究において、それぞれ26%、33%、45%のファイルをレビューしただけで、90%、95%、99%の脆弱性再現率を達成した。

ABSTRACT

Society needs more secure software. But predicting vulnerabilities is difficult and existing methods are not applied in practical use due to various limitations. The goal of this paper is to design a vulnerability prediction method in a cost-aware manner so that it can balance the percentage of vulnerabilities found against the cost of human effort on security review and test. To this purpose, this paper presents HARMLESS, an incremental vulnerability prediction tool. HARMLESS is an active learner that (a) builds a support vector machine on the source code files reviewed to date; then (b) suggests what other source code files might have vulnerabilities and need to be reviewed next. A unique feature of HARMLESS is that HARMLESS can estimate the number of remaining vulnerabilities. To the best of our knowledge, HARMLESS is the first tool providing such estimation in the arena of vulnerability prediction. Using that estimator, HARMLESS can guide the security review and test to any level of desired recall, i.e. percentage of vulnerabilities found. In experiments on a case study of Mozilla Firefox project, HARMLESS found 90, 95, 99% of known vulnerabilities by reviewing and testing 26, 33, 45% of the source code files, respectively.

研究の動機と目的

• 検出効果と人的作業コストの両立を図る実用的な脆弱性予測ツールの不足を埋める。
• セキュリティチームが特定の再現率（例：90%、95%）を狙えるようにし、コードレビューの負荷を最小限に抑える手法を開発する。
• レビュー過程中に未発見の脆弱性の数を推定できる、脆弱性予測分野における画期的な能力を提供する。
• 過去のレビューから学習するインクリメンタルでアクティブラーニングの仕組みを設計し、将来の点検のためにリスクの高いファイルを優先順位付けする。

提案手法

• HARMLESS は、脆弱性あり／なしとしてラベル付けされたレビュー済みのソースコードファイルに基づき、インクリメンタルにサポートベクターマシン（SVM）を学習する。
• 訓練済みモデルを用いて、未レビューの全ファイルを脆弱性の可能性の高さ順にランク付けし、次回のレビューに最も疑わしいファイルを提案する。
• 独自の推定器コンponent は、モデルの信頼性と歴史的データに基づき、未レビューのコードベースに残る脆弱性の数を予測する。
• 段階的に、効率の良いファイル選択を繰り返し行い、ユーザーが指定した再現率の目標を達成するように、選択戦略を動的に調整する。
• アクティブラーニングの原則とコストを考慮したフィードバックを統合し、望ましい再現率に達した時点で作業を停止できるようにする。

実験結果

リサーチクエスチョン

• RQ1 脆弱性予測システムは、レビュー過程中に未発見の脆弱性の数を推定できるか？
• RQ2 コストを考慮した予測手法は、高い再現率を維持しつつ、レビュー対象のコード割合をどの程度まで削減できるか？
• RQ3 インクリメンタル学習と再現率のターゲティングを組み合わせたアクティブラーニングアプローチは、静的または非適応的予測手法に比べて、どの程度効果的に機能するか？
• RQ4 システムは、人的作業を最小限に抑えながら、特定の再現率（例：90%、95%）を達成するためのセキュリティテストを誘導できるか？

主な発見

• HARMLESS は、Mozilla Firefox プロジェクトにおいて、ソースコードファイルの26%をレビューしただけで90%の再現率を達成した。
• 33%のファイルをレビューした段階で95%の再現率に達した。これは、レビュー作業の必要量が著しく削減されたことを示している。
• 99%の再現率を達成するには、45%のファイルを検査する必要があった。これは、優先順位付けの精度とスケーラビリティの高さを示している。
• 未発見の脆弱性の推定能力により、テスト作業量と再現率の目標に対する能動的制御が可能になった。