[論文レビュー] Better Security Bug Report Classification via Hyperparameter Optimization

Rui Shu, Tianpei Xia+2 more|arXiv (Cornell University)|May 16, 2019

Software Engineering Research参考文献 62被引用数 30

ひとこと要約

本稿では、機械学習の学習器とデータ前処理の両方にハイパラメータ最適化を適用することで、セキュリティバグレポート分類のセキュリティを向上させている。特に、クラス不均衡の処理に注力しており、SMOTUNEDを用いた前処理の最適化により、ベースライン手法に比べて再現率が著しく向上（最大65%）し、誤検出の増加はややにとどまる。学習器のハイパラメータ最適化に比べて優れた性能を発揮している。

ABSTRACT

When security bugs are detected, they should be (a)~discussed privately by security software engineers; and (b)~not mentioned to the general public until security patches are available. Software engineers usually report bugs to bug tracking system, and label them as security bug reports (SBRs) or not-security bug reports (NSBRs), while SBRs have a higher priority to be fixed before exploited by attackers than NSBRs. Yet suspected security bug reports are often publicly disclosed because the mislabelling issues ( i.e., mislabel security bug reports as not-security bug report). The goal of this paper is to aid software developers to better classify bug reports that identify security vulnerabilities as security bug reports through parameter tuning of learners and data pre-processor. Previous work has applied text analytics and machine learning learners to classify which reported bugs are security related. We improve on that work, as shown by our analysis of five open source projects. We apply hyperparameter optimization to (a)~the control parameters of a learner; and (b)~the data pre-processing methods that handle the case where the target class is a small fraction of all the data. We show that optimizing the pre-processor is more useful than optimizing the learners. We also show that improvements gained from our approach can be very large. For example, using the same data sets as recently analyzed by our baseline approach, we show that adjusting the data pre-processing results in improvements to classification recall of 35% to 65% (median to max) with moderate increment of false positive rate.

研究の動機と目的

• セキュリティバグレポート（SBR）が非セキュリティレポート（NSBR）として誤ってラベル付けされるという深刻な問題に対処する。これはパッチ適用の遅延と悪用リスクの増加を引き起こす。
• FARSEC手法を改善するために、学習器とデータ前処理の両方にハイパラメータ最適化を適用し、分類性能を向上させる。
• データ前処理（特にクラス不均衡の処理）を最適化することで、機械学習モデルのパラメータ最適化よりもより大きな改善が得られるかどうかを調査する。
• 最適化された前処理によるより良いデータ準備が、脆弱性検出において、より良いモデルチューニングを上回ることを実証する。

提案手法

• セキュリティバグレポートと非セキュリティバグレポートの分類を向上させるために、機械学習の学習器（例：SVM、ランダムフォレスト）とデータ前処理技術の両方にハイパラメータ最適化を適用した。
• SBRがレポート全体のたった0.8%にとどまるような不均衡なデータセットに対処するため、SMOTE（合成少数過剰サンプリング技術）の最適化版であるSMOTUNEDを用いた。
• 外れ値の除去と少数クラスのサンプリングを制御する前処理パラメータを最適化することで、不均衡データにおけるモデルの一般化性能を向上させた。
• 同じデータセットと前処理済みデータを用いてFARSECベースラインを再現し、性能向上の直接比較を可能にした。
• 再現率、適合率、F1スコアといった標準的な指標を用いて結果を評価し、希少なSBRの再現率向上に特に注目した。
• 前処理（例：SMOTUNED）を訓練データに対してのみ適用することで、データ漏洩を回避した。

実験結果

リサーチクエスチョン

• RQ1 RQ1: データ前処理のハイパラメータ最適化は、デフォルト設定と比較して、セキュリティバグレポート分類性能を顕著に向上させることができるか？
• RQ2 RQ2: セキュリティバグレポート分類の文脈において、データ前処理の最適化が、機械学習学習器のハイパラメータ最適化よりもより大きな改善をもたらすか？
• RQ3 RQ3: 複数のオープンソースプロジェクトにおいて、提案手法の再現率と誤検出率の観点から、FARSECベースライン手法と比較してどのように性能が異なるか？

主な発見

• 特にSMOTUNEDを用いたデータ前処理の最適化により、機械学習モデルのハイパラメータ最適化よりも顕著な再現率の向上が得られた。
• FARSEC研究で使用された同じデータセットにおいて、前処理最適化後、再現率の中央値が33%から66%、最大で65%に上昇したが、誤検出率の上昇はややにとどまった。
• 再現率の向上は、SBRの出現頻度が極めて低いプロジェクト（例：Chromiumプロジェクト）で顕著であり、再現率が15%から77%に上昇した。
• 結果から、最適化された前処理による「より良いデータ」が、ハイパラメータチューニングによる「より良い学習器」を上回ることを確認した。これは、この文脈において、データ品質がモデルチューニングよりも重要であるという仮説を支持する。
• テストデータに対してもSMOTUNEDや同様の前処理を適用するとデータ漏洩が生じ、無効な結果が得られることを実証した。これにより、このような手法は訓練データに対してのみ適用すべきであるという必要性が強化された。