[論文レビュー] Devign: Effective Vulnerability Identification by Learning Comprehensive Program Semantics via Graph Neural Networks

Yaqin Zhou, Shangqing Liu+3 more|arXiv (Cornell University)|Sep 8, 2019

Software Engineering Research被引用数 151

ひとこと要約

Devign は、実際の C プロジェクトの脆弱な関数を検出するために、AST、CFG、DFG、シーケンスエッジを統合した複合コード表現を持つグラフニューラルネットワークを使用し、ベースラインを上回り、CVEs への適用性を示す。

ABSTRACT

Vulnerability identification is crucial to protect the software systems from attacks for cyber security. It is especially important to localize the vulnerable functions among the source code to facilitate the fix. However, it is a challenging and tedious process, and also requires specialized security expertise. Inspired by the work on manually-defined patterns of vulnerabilities from various code representation graphs and the recent advance on graph neural networks, we propose Devign, a general graph neural network based model for graph-level classification through learning on a rich set of code semantic representations. It includes a novel Conv module to efficiently extract useful features in the learned rich node representations for graph-level classification. The model is trained over manually labeled datasets built on 4 diversified large-scale open-source C projects that incorporate high complexity and variety of real source code instead of synthesis code used in previous works. The results of the extensive evaluation on the datasets demonstrate that Devign outperforms the state of the arts significantly with an average of 10.51% higher accuracy and 8.68\% F1 score, increases averagely 4.66% accuracy and 6.37% F1 by the Conv module.

研究の動機と目的

• “平坦なコード表現を超えた包括的なプログラム意味論の学習による自動脆弱性検出の動機づけ。”
• “多様な脆弱性パターンを捉えるために複数のコード表現を統合するグラフベースモデルを提案する。”
• “Conv を有するゲーティッドグラフリカレントネットワークが、ベースラインより現実世界のデータセットで精度と F1 を上回ることをデモンストレーションする。”
• “4つの大規模 C ライブラリから手動でラベル付けされたデータを共有し、脆弱性識別モデルを評価する。”

提案手法

• 関数を、AST、CFG、DFG（簡略化して DFG_R/DFG_W/DFG_C）、および自然コードシーケンスエッジを統合する結合グラフ g(V, X, A) にエンコードする。
• ゲーティッドグラフリカレントネットワークを用いて、マルチタイプエッジ上でノード特徴を時刻ステップ T にわたって伝搬・エンコードし、最終的なノード埋め込み H^(T) を得る。
• [H^(T), X] および最終ノード特徴からグラフレベルの特徴を抽出するために、逐次1-D畳み込みと最大プーリングを含む Conv モジュールを適用し、続いて MLP と別の MLP とのペアワイズ積を経て Sigmoid グラフレベル予測を行う。
• 初期ノード特徴を word2vec ベースのコード埋め込みとタイプエンコードを連結して表現し、クロスエントロピー損失と正則化でエンドツーエンドに学習する。
• AST、CFG、DFG（LastRead/LastWrite/ComputedFrom に縮約）、および Natural Code Sequence から複合コードグラフを構築し、多様な脆弱性手掛かりを捉える。
• Devign を Linux Kernel、QEMU、Wireshark、FFmpeg から手動ラベル付けデータで学習させ、XGBoost、BiLSTM 系、CNN、Gated Graph Recurrent Network (GGRN) などのベースラインと評価する。

実験結果

リサーチクエスチョン

• RQ1 Devign は実際のオープンソースプロジェクトに対して、最先端の学習ベースの脆弱性識別手法と比較してどうか。
• RQ2 Conv モジュールは、ノード特徴を集約した単純な GGRN を超えるグラフレベル分類を改善するか。
• RQ3 複合（マルチ表現）グラフは、脆弱性検出において単一エッジ表現を上回るか。
• RQ4 不均衡データと最新 CVE に対して、静的解析ツールと比較して Devign はどう機能するか。
• RQ5 複合コード意味論を用いた跨プロジェクトの脆弱性識別の影響はどれほどか。

主な発見

• Devign (Composite) は、4つのデータセット全体でベースライン手法より平均 10.51% の精度向上、F1 は平均 8.68% 向上した。
• Conv モジュールは、単純なノード集約を用いた GGRN に対して平均で 4.66% の精度向上、F1 は 6.37% 向上をもたらした。
• 複合グラフの利用は一般にグラフレベルの予測を単一エッジグラフより改善し、平均 F1 の利得は約 2.69%、特定のエッジタイプでより高い利得が見られる。
• 不均衡データ上、Devign は静的解析ツール（Cppcheck、Flawfinder、および隠れた商用ツール）と比較して F1 スコアが大幅に優れており、本文には 27.99 高いと報告されている。
• 最新の 40 件の CVE を用いた検証では、Devign は平均 74.11% の精度を達成し、ゼロデイ脆弱性検出への実用性を示した。