[論文レビュー] An Empirical Study of Deep Learning Models for Vulnerability Detection

Benjamin Steenhoek, Md. Mahbubur Rahman+2 more|arXiv (Cornell University)|Dec 15, 2022

Software Engineering Research被引用数 7

ひとこと要約

本稿は、DevignおよびMSRデータセットにおける脆弱性検出のための9つの最先端の深層学習モデルについて、包括的な実証的調査を実施している。モデルの合意度、学習データの影響、解釈可能性について検討し、モデル間合意度が低く（わずか7％の一致）、ランダムな実行間のばらつきが顕著（34.9％の不一致）、タイプ別に学習したモデルが汎用モデルを上回ること、性能が約1,000件の脆弱な例で安定することを明らかにした。本研究では、ソフトウェアセキュリティ分野におけるモデルの頑健性と解釈可能性を向上させるための再現可能コード、データセット、洞察を提供する。

ABSTRACT

Deep learning (DL) models of code have recently reported great progress for vulnerability detection. In some cases, DL-based models have outperformed static analysis tools. Although many great models have been proposed, we do not yet have a good understanding of these models. This limits the further advancement of model robustness, debugging, and deployment for the vulnerability detection. In this paper, we surveyed and reproduced 9 state-of-the-art (SOTA) deep learning models on 2 widely used vulnerability detection datasets: Devign and MSR. We investigated 6 research questions in three areas, namely model capabilities, training data, and model interpretation. We experimentally demonstrated the variability between different runs of a model and the low agreement among different models' outputs. We investigated models trained for specific types of vulnerabilities compared to a model that is trained on all the vulnerabilities at once. We explored the types of programs DL may consider "hard" to handle. We investigated the relations of training data sizes and training data composition with model performance. Finally, we studied model interpretations and analyzed important features that the models used to make predictions. We believe that our findings can help better understand model results, provide guidance on preparing training data, and improve the robustness of the models. All of our datasets, code, and results are available at https://doi.org/10.6084/m9.figshare.20791240.

研究の動機と目的

• 深層学習モデルの脆弱性検出における信頼性と一貫性、特に異なる実行やモデル間での挙動を理解すること。
• 統合モデルと比較して、特定の脆弱性タイプごとに学習したモデルが性能を向上させるかどうかを評価すること。
• モデルが正しく予測しにくいプログラムを特徴づけるコード特徴量を同定すること。
• 学習データサイズと構成がモデル性能に与える影響を評価すること。
• 最先端の解釈ツールを用いて、モデルが予測に使用するコード特徴量を分析すること。

提案手法

• DevignおよびMSRデータセット上で、GNN、RNN、LSTM、CNN、Transformerアーキテクチャを含む11のSOTA深層学習モデルを再現した。
• 訓練データのプロジェクト構成に起因するバイアスを低減するため、5分割交差検証を実施した。
• 実行間のばらつきを評価するため、複数のランダムシードを用い、すべて0またはすべて1の予測を出力する不安定なモデルは除外した。
• SOTAのモデル解釈ツール（例：LIME、Grad-CAM）を適用し、モデル間で重要なコード特徴量を抽出・比較した。
• コード特徴量に基づいて、どのプログラムが分類が難しいかを予測するためのロジスティック回帰モデルを構築した。
• 各予測における上位10個の重要ラインを分析し、特徴量の重複度と一般的なパターンを定量化した。

実験結果

リサーチクエスチョン

• RQ1 RQ1: モデルは脆弱性検出結果について合意しているか？異なる実行や異なるモデル間でのばらつきはいかほどか？
• RQ2 RQ2: 特定のタイプの脆弱性は検出が容易か？脆弱性タイプごとにモデルを学習すべきか、それとも統合モデルで十分か？
• RQ3 RQ3: 特定のコード特徴量を持つプログラムは、正しく分類されにくく、その特徴量は何か？
• RQ4 RQ4: 学習データセットのサイズを増やすことでモデル性能が向上するか？
• RQ5 RQ5: 学習データに含まれるプロジェクトの構成が、モデル性能に与える影響は何か？
• RQ6 RQ6: モデルはどのコード特徴量を予測に使用しており、重要な特徴量について合意しているか？

主な発見

• 平均して、同じモデルの異なる実行間で34.9％のテストサンプルが不一致した予測を示し、実行間のばらつきが顕著であることが判明した。
• 9つのモデルすべてで一致したテスト予測はわずか7％にとどまり、SOTAモデル間での合意度が低いことが明らかになった。
• 特定の脆弱性タイプごとに学習したモデルは、すべての脆弱性を統合して学習したモデルよりも顕著に高い性能を示した。
• モデル性能は約1,000件の脆弱な例で安定化し、この閾値を超えると利得が減少することが示唆された。
• コード特徴量に基づいて学習したロジスティック回帰モデルは、分類が難しいプログラムを予測可能であり、モデルの失敗に識別可能なパターンが存在することが示された。
• 解釈ツールの分析から、モデルが重複するコード特徴量を使用しており、各予測の上位10個の重要ラインのうち、3.38～6.88行が共通していた。