[論文レビュー] On using distributed representations of source code for the detection of C security vulnerabilities

David Coimbra, Sofia Reis+3 more|arXiv (Cornell University)|Jun 1, 2021

Advanced Malware Detection Techniques参考文献 25被引用数 15

ひとこと要約

この論文は、抽象構文木（AST）から抽出したパス・コンテキストを用いてC言語のソースコードの分散表現を学習するモデルであるCode2vecを、セキュリティ脆弱性の検出に用いて評価している。CodeXGLUEベンチマークで訓練された結果、61.43%の精度を達成したが、RoBERTaと同等の性能でありながら、はるかに低い計算コストであるため、リソース制約のあるCIパイプラインに適している。

ABSTRACT

This paper presents an evaluation of the code representation model Code2vec when trained on the task of detecting security vulnerabilities in C source code. We leverage the open-source library astminer to extract path-contexts from the abstract syntax trees of a corpus of labeled C functions. Code2vec is trained on the resulting path-contexts with the task of classifying a function as vulnerable or non-vulnerable. Using the CodeXGLUE benchmark, we show that the accuracy of Code2vec for this task is comparable to simple transformer-based methods such as pre-trained RoBERTa, and outperforms more naive NLP-based methods. We achieved an accuracy of 61.43% while maintaining low computational requirements relative to larger models.

研究の動機と目的

• C言語のソースコードにおけるセキュリティ脆弱性検出の有効性をCode2vecが果たすかを評価すること。
• RoBERTa や CodeBERT などのトランスフォーマー基盤モデルと比較して、Code2vecの性能と計算効率を評価すること。
• パス・コンテキストに基づくコード表現が、最小限の計算オーバーヘッドで競争力のある精度を達成できるかを評価すること。
• 脆弱性検出に向けたCode2vecを用いた再現可能な実装およびトレーニングパイプラインを提供すること。
• 大規模モデルが実装不可能なCI環境において、Code2vecのような小型モデルが実用的な代替手段となり得るかを示すこと。

提案手法

• astminerライブラリを用いて、C関数の抽象構文木（AST）からパス・コンテキストを抽出した。
• Code2vecの注目メカニズムを備えたフィードフォワードネットワークを用いて、ASTのパス・コンテキストから分散埋め込みを学習することで、コード表現を構築した。
• CodeXGLUEの欠陥検出ベンチマークから得たラベル付きC関数のコーパス上で、Code2vecをファインチューニングした。
• 関数が脆弱であるか否かを分類するために、バイナリクロスエントロピー損失を用いてモデルを訓練した。
• バッチサイズ（1024）、学習率、最大パス・コンテキスト長および幅といったハイパーパrameterを最適化するように設定した。
• 標準的な指標（精度など）を用いてモデルのパフォーマンスを評価し、RoBERTa や他のNLPベースラインと比較した。

実験結果

リサーチクエスチョン

• RQ1 ASTパス・コンテキストに基づく非トランスフォーマー型モデルであるCode2vecは、C言語のセキュリティ脆弱性検出において競争力のある精度を達成できるか？
• RQ2 RoBERTa や CodeBERT などの事前学習済みトランスフォーマーモデルと比較して、Code2vecの脆弱性検出におけるパフォーマンスはいかがなものか？
• RQ3 Code2vecのトレーニングに要する計算コストは、より大きなモデルと比べてどの程度で、CIパイプラインへの統合が可能か？
• RQ4 ASTベースのパス・コンテキストは、脆弱性検出に十分な意味的・構文的情報を捉えられるか？
• RQ5 C関数のラベル付きデータセット上で、Code2vecは効果的にファインチューニング可能であり、最小限のリソースで最先端のパフォーマンスを達成できるか？

主な発見

• Code2vecは、C言語のCodeXGLUE欠陥検出ベンチマークで61.43%の精度を達成し、単純なNLPベースの手法を上回った。
• Code2vecの性能は、コードの事前学習を行わないにもかかわらず、RoBERTa（単純なファインチューニング済みトランスフォーマーモデル）と同等であった。
• Code2vecは、コンsumerグレードのGPUで約5分間のトレーニング時間で、1024サンプルバッチでもメモリを枯渇させない。
• モデルは計算リソースの消費が低く、リソース制約のある環境（例：CIパイプライン）へのデプロイに適していることが示された。
• CodeBERT や Devign といったより表現力の高いモデルに比べ、Code2vecは劣っていたが、これらはより深い構文的・意味的特徴を活用している。
• 結果から、モデルサイズや推論コストが重要な状況では、Code2vecがパフォーマンスと効率の優れたトレードオフを提供することが示唆された。