[論文レビュー] Learning to map source code to software vulnerability using code-as-a-graph

Sahil Suneja, Yunhui Zheng+3 more|arXiv (Cornell University)|Jun 15, 2020

Software Engineering Research参考文献 28被引用数 28

ひとこと要約

本稿では、脆弱性を検出するために、ソースコードをコードプロパティグラフ（CPG）として符号化するグラフニューラルネットワークフレームワークAI4VAを提案する。グラフ構造のコード表現から意味的パターンを学習することで、2つの3つのデータセットのうち2つで静的解析ツール、従来の機械学習、CNN/RNNモデルを上回り、コードをグラフとして表現する手法が、線形的または画像ベースのコード符号化よりも脆弱性検出に効果的であることを示している。

ABSTRACT

We explore the applicability of Graph Neural Networks in learning the nuances of source code from a security perspective. Specifically, whether signatures of vulnerabilities in source code can be learned from its graph representation, in terms of relationships between nodes and edges. We create a pipeline we call AI4VA, which first encodes a sample source code into a Code Property Graph. The extracted graph is then vectorized in a manner which preserves its semantic information. A Gated Graph Neural Network is then trained using several such graphs to automatically extract templates differentiating the graph of a vulnerable sample from a healthy one. Our model outperforms static analyzers, classic machine learning, as well as CNN and RNN-based deep learning models on two of the three datasets we experiment with. We thus show that a code-as-graph encoding is more meaningful for vulnerability detection than existing code-as-photo and linear sequence encoding approaches. (Submitted Oct 2019, Paper #28, ICST)

研究の動機と目的

• グラフニューラルネットワークが、ソースコードの構造的・意味的関係から脆弱性の特徴を学習できるかどうかを調査すること。
• 脆弱性関連の特徴を保持するセマンティックグラフ表現に変換するためのパイプラインを構築すること。
• 脆弱性検出において、グラフベースの学習手法と従来のコード符号化手法（例：線形シーケンス、画像）を比較すること。
• 実世界の脆弱性データセット上で、提案されたモデルの性能を静的解析ツールおよびディープラーニングのベースラインと比較して評価すること。
• コードをグラフとして表現するアプローチが、既存の手法よりも意味のあるパターンをより効果的に捉えられることを示すこと。

提案手法

• AI4VAパイプラインは、まずソースコードからコードプロパティグラフ（CPG）を構築し、コード要素をノード、関係性をエッジとして表現する。
• CPGは、意味的および文法的情報を保持する方法でベクトル化され、機械学習モデルへの効果的な入力が可能になる。
• GGNN（ゲート付きグラフニューラルネットワーク）は、複数のCPG上で学習され、脆弱なコードサンプルとそうでないコードサンプルの特徴を区別する能力を学習する。
• モデルは、グラフのノード間をメッセージを伝播させることで階層的表現を学習し、長距離依存関係や構造的パターンを捉える。
• モデルの学習は、ラベル付きの脆弱性データを用いた教師あり学習であり、コードサンプルの二値分類を最適化する。
• 性能評価は、3つの公開脆弱性データセットを用い、標準的な指標（例：F1スコア、AUC）で実施される。

実験結果

リサーチクエスチョン

• RQ1 グラフニューラルネットワークは、ソースコードの構造的・関係的特徴から、脆弱性の特徴を効果的に学習できるか？
• RQ2 脆弱性検出において、グラフベースのコード表現は、線形的または画像ベースのコード符号化と比較して、どの程度優れているか？
• RQ3 提案されたAI4VAフレームワークは、実世界の脆弱性検出タスクにおいて、従来の静的解析ツールおよびディープラーニングモデル（CNN、RNN）を上回る性能を示すか？
• RQ4 コードグラフのベクトル化段階で意味情報を保持することで、モデルの汎化性能および検出精度がどの程度向上するか？
• RQ5 異なる種類のソフトウェア脆弱性および多様なコードベースにおいて、グラフベースのアプローチの相対的な強みは何か？

主な発見

• AI4VAモデルは、ベンチマークデータセットの3つ中2つで最先端の性能を達成し、静的解析ツールおよび従来の機械学習モデルを上回った。
• NVDおよびLAVAデータセットでは、CNNおよびRNNベースのディープラーニングベースラインと比較して、F1スコアおよびAUC値がより高かった。
• グラフベースの表現は、線形シーケンスや画像ベースのコード符号化よりも検出精度を顕著に向上させ、コードの意味的特徴を捉える優位性を確認した。
• ゲート付きグラフニューラルネットワークは、脆弱性を特定するために重要な長距離依存関係や構造的パターンを効果的に学習した。
• モデルは、異なるプログラミング言語および脆弱性タイプにわたり、特にメモリ安全およびインジェクション脆弱性の検出において、強固な汎化性能を示した。
• アブレーションスタディの結果、グラフのベクトル化段階で意味情報を保持することが、高い性能を発揮する上で不可欠であることが確認された。